まさかAIに財布を盗まれるとは思わなかった
TechFlow厳選深潮セレクト
まさかAIに財布を盗まれるとは思わなかった
訓練データが汚染されたとき、AIの言うことはまだ信じられるのか？
Web3業界の深掘り報道に専念し潮流を洞察執筆：Azuma、Odaily 星球日報
北京時間11月22日午前、スローミスト創設者の余弦が自身のXに奇妙なケースを投稿した。あるユーザーのウォレットがAIに「ハッキング」されたという出来事だ……。
この事件の経緯は以下の通りである。
今朝未明、Xユーザーr_ocky.ethは、以前ChatGPTを使ってpump.fun向けの取引支援botを作成しようとしたことを明かした。
r_ocky.ethはChatGPTに自分の要望を伝え、それに応じたコードを受け取った。そのコードは確かに彼の要望に合致するbotの展開を可能にするものだったが、しかし彼はそこにフィッシング用のコードが隠されているとは夢にも思わなかった。r_ocky.ethはメインウォレットを接続し、結果として2500米ドルを失うことになった。
r_ocky.ethが公開したスクリーンショットによると、ChatGPTが提供したコードはアドレスの秘密鍵をフィッシング目的のAPIサイトへ送信するよう設計されており、これが盗難の直接的な原因となった。
r_ocky.ethが罠にはまった直後、攻撃者は極めて迅速に対応し、30分以内に彼のウォレット内のすべての資産を別のアドレス（FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX）へ移転した。その後、r_ocky.ethはオンチェーン追跡を通じて、攻撃者のメインウォレットと見られるアドレス（2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC）も特定した。
オンチェーン情報によれば、このアドレスにはすでに10万米ドル以上の「不正資金」が集められており、r_ocky.ethは同様の攻撃が孤立した事例ではなく、一定規模に達している可能性があると考えている。
事後、r_ocky.ethはOpenAI（ChatGPTの開発会社）への信頼を失ったと失望を露わにし、OpenAIに対して異常なフィッシングコンテンツの早期除去を呼びかけた。
では、現在最も人気のあるAIアプリケーションであるChatGPTがなぜフィッシングコンテンツを提供してしまうのか。
これについて余弦は、この事件の根本原因を「AIポイズニング攻撃（AI投毒攻撃）」と定義し、ChatGPTやClaudeなどのLLMにおいて広範にわたる欺瞞行為が存在すると指摘した。
いわゆる「AIポイズニング攻撃」とは、AIの学習データを意図的に破壊したり、AIアルゴリズムを操作することを指す。攻撃者は内部関係者（不満を持つ現職または元従業員など）であることもあれば、外部のハッカーであることもある。動機としては、評判やブランドへの損害を与えること、AI判断の信頼性を歪めること、AIプロセスの遅延または破壊などが考えられる。攻撃者は誤解を招くラベルや特徴を持つデータを挿入することでモデルの学習プロセスを歪め、展開および運用時に誤った出力を生じさせる。
今回の事例を踏まえると、ChatGPTがr_ocky.ethにフィッシングコードを提供したのは、おそらくAIモデルの学習段階で既にフィッシングコンテンツを含む資料に汚染されていたためと考えられる。しかしAIは通常の資料に紛れたフィッシングコンテンツを識別できず、それを学習した結果、ユーザーにフィッシング情報を提供してしまったのだ。
AIの急速な発展と普及に伴い、「ポイズニング攻撃」の脅威はますます大きくなっている。今回の事件では損失額自体はそれほど大きくないが、その潜在的リスクは警戒に値する。例えば、自動運転補助AIなど他の分野で同様のことが起きた場合を想像してみよう……。
ネットユーザーからの質問に対する返答の中で、余弦はこうしたリスクを回避する一つの方法として、ChatGPT側で何らかのコードレビュー機構を導入することを提案した。
被害者r_ocky.ethもすでにOpenAIに連絡を取ったと述べており、現時点ではまだ返答はないものの、今回の事件がOpenAIにとってこうしたリスクを重視し、解決策を検討するきっかけになればと願っている。
TechFlow公式コミュニティへようこそ
Telegram購読グループ：https://t.me/TechFlowDaily
Twitter公式アカウント：https://x.com/TechFlowPost
Twitter英語アカウント：https://x.com/BlockFlow_News
Odaily
