最初期のAIエージェントが、すでに従順でなくなってきています
TechFlow厳選深潮セレクト
最初期のAIエージェントが、すでに従順でなくなってきています
AIは使いやすいが、使いやすいAIの境界線はどこにあるのか？
Web3業界の深掘り報道に専念し潮流を洞察著者：David、TechFlow
最近、Redditを閲覧していたところ、海外のユーザーが抱えるAIへの不安は、中国国内のそれとはやや異なることに気づきました。
中国国内では、いまだに「AIが私の仕事を奪うのか？」という問いが中心です。この話題は数年間続いており、毎年「今年こそは」と期待されながらも、実際にはまだ完全な代替には至っていません。今年はOpenClawが一時的に注目を集めましたが、それでもなお、完全な代替にはほど遠い状況です。
一方、Redditでは最近、感情が二極化しています。あるテクノロジー系の人気投稿のコメント欄では、しばしば以下の2種類の声が同時に見られます：
一つは、「AIが強力すぎる。いずれ大惨事につながる」という意見。もう一つは、「AIは基本的なことすらミスする。そんなものに何を恐れる必要がある？」という意見です。
「AIが強力すぎる」と恐れつつも、「AIは馬鹿だ」と感じている——この矛盾する2つの感情を同時に成立させているのが、この2日間に報じられたMetaに関するニュースです。
AIが言うことを聞かない場合、誰が全責任を負うのか？
3月18日、Meta社内のエンジニアが社内フォーラムに技術的な質問を投稿しました。その後、別の同僚がAIエージェントを用いてその問題を分析しました。これは通常の業務手順です。
しかし、このAIエージェントは分析を終えると、誰の承認も得ず、誰の確認も待たずに、自ら技術フォーラムに返信を投稿してしまいました。つまり、権限を超えて勝手に投稿したのです。
その後、他の同僚がそのAIの返信をそのまま実行した結果、一連の権限変更が発生し、Meta社およびユーザーの機密データが、本来アクセス権を持たない内部スタッフに漏洩してしまいました。
問題は2時間後にようやく修正されました。Meta社はこの事故を「Sev 1」（重大度レベル1）と評価しており、最上位レベルに次ぐ深刻度です。
このニュースはすぐにr/technology掲示板のトップトピックとなり、コメント欄は真っ二つに割れました。
一派は「これはAIエージェントが実際に及ぼすリスクの典型的な例だ」と主張し、もう一派は「実際の問題を引き起こしたのは、検証もせずAIの指示に従った人間だ」と反論しています。どちらの立場にも一理あります。しかしそのことがまさに本質的な問題なのです：
AIエージェントによる事故において、そもそも誰に責任があるのか、議論すらまとまらないのです。
これはAIが初めて権限を超えた行動を取ったわけではありません。
先月、MetaのスーパーエンタープライズAI研究所の研究責任者であるサマー・ユエ氏が、OpenClawを使って自身のメールボックスを整理するよう依頼しました。彼女は明確な指示を出しました。「まず、削除しようとしているメールの一覧を私に提示し、私が了承した上で実行すること」。
ところが、このAIエージェントは彼女の了承を待たず、いきなり大量のメールを削除し始めました。
彼女はスマートフォンから3回にわたり停止命令を送信しましたが、AIエージェントはすべて無視しました。最終的にはパソコンに向かい、手動でプロセスを強制終了することでようやく止めることができましたが、すでに200通以上のメールが削除されていました。
事故後のAIエージェントの回答はこうでした。「はい、あなたが事前の確認を求めていたことは記憶しています。しかし、私はその原則に反しました」。皮肉なことに、この人物の専門分野は「AIが人間の指示に従うようにする方法」の研究です。
サイバー空間において、最先端のAIを、最先端の人が使う時代が到来した今、AIはすでに「言うことを聞かなくなり始めています」。
もしロボットも言うことを聞かなくなったら？
Metaの事故はまだ画面の中の出来事ですが、今週起きた別の出来事が、この問題を私たちの食卓まで運んできました。
米国カリフォルニア州クパチーノにある海底撈（ハイディアオ）店舗では、Agibot X2というヒューマノイドロボットが顧客を楽しませるためのダンスを披露していました。しかし、スタッフがリモコンを誤操作し、狭いテーブルのそばで高強度のダンスモードを起動させてしまいました。
ロボットは激しく踊り始め、スタッフのコントロールが効かなくなりました。3人のスタッフが周囲を取り囲み、一人は背後からロボットを抱え、もう一人はスマートフォンアプリで停止を試みましたが、この混乱は1分以上続きました。
海底撈側は、このロボットに故障はなく、すべての動作はあらかじめプログラムされたものであり、単にテーブルに近すぎた位置へ移動させてしまっただけだと説明しています。厳密に言えば、これはAIによる自律的判断の失敗ではなく、人為的な操作ミスです。
しかし、この出来事の違和感の根源は、誰がボタンを誤って押したかという点にあるわけではありません。
3人のスタッフがロボットを取り囲んだとき、誰一人として、即座にこのロボットを停止させる方法を知りませんでした。一人はスマートフォンアプリを試し、もう一人はロボットのアームを素手で抑えようとしました。結局、対応は物理的な力に頼るしかありませんでした。
これは、AIが画面から現実の物理世界へと進出した後に新たに生じた課題かもしれません。
デジタルの世界では、エージェントが権限を超えて行動しても、プロセスを強制終了したり、アクセス権限を変更したり、データをロールバックしたりすれば対応できます。しかし、物理の世界でロボットが異常を起こした場合、それを「抱え込む」だけの緊急対応では明らかに不十分です。
現在、この問題は飲食業界にとどまりません。倉庫ではアマゾンの仕分けロボット、工場では協働ロボットアーム、商業施設では案内ロボット、介護施設ではケアロボットなど、自動化はますます多くの「人と機械が共存する空間」へと浸透しています。
2026年の世界の産業用ロボット導入額は167億ドルに達すると予測されており、それは機械と人間との物理的な距離を着実に縮めていることを意味します。
ロボットが行う作業が、ダンスから配膳へ、パフォーマンスから手術へ、娯楽から介護へと進化するにつれて、万が一のエラーがもたらすコストは、着実に高まり続けています。
そして現在、世界中で「公共の場でロボットが人を傷つけた場合、誰が責任を負うのか？」という問いに対し、明確な答えはまだ存在しません。
「言うことを聞かない」ことが問題なのではなく、「境界線がない」ことがもっと大きな問題だ
これまで紹介した2件の事例は、それぞれ「AIが勝手に誤った投稿をした」「ロボットが舞ってはいけない場所で踊ってしまった」というものです。いかなる解釈をしようと、いずれも故障であり、事故であり、修復可能な事象です。
しかし、もしAIが設計通りに正確に機能しているにもかかわらず、あなたが依然として不快に感じるとしたらどうでしょうか？
今月、海外で有名なマッチングアプリTinderは、製品発表会で「Camera Roll Scan（カメラロールスキャン）」という新機能を発表しました。簡単に言うと、以下の通りです：
AIがあなたのスマートフォンの写真フォルダ内のすべての画像をスキャンし、あなたの興味、性格、ライフスタイルを分析して、マッチング用プロフィールを作成し、あなたが好みそうなタイプの人を推定するのです。
フィットネスのセルフィー、旅行の風景写真、ペットの写真などは問題ありません。しかし、あなたの写真フォルダには、銀行アプリのスクリーンショット、健康診断のレポート、元恋人とのツーショット写真なども含まれているかもしれません。こうした画像もAIによってすべてスキャンされるのでしょうか？
おそらく、あなたには「どの画像を見るか／見ないか」を選択する余地が与えられていません。「すべて許可する」か「一切使わない」かの二者択一です。
この機能は現時点ではユーザーが手動で有効化する必要があり、デフォルトでオンになるわけではありません。またTinderは、処理の大半は端末上で行われ、露骨なコンテンツはフィルタリングされ、顔画像はぼかされると説明しています。
しかし、Redditのコメント欄ではほぼ一面倒に、この機能は「境界線のないデータ収集」であると批判されています。AIは設計通りに正確に機能していますが、その「設計そのもの」がユーザーの境界線を越えてしまっているのです。
これはTinderだけの選択ではありません。
先月、Metaも同様の機能を導入しました。ユーザーのスマートフォンに保存済みだが、まだSNS等に公開していない写真をAIがスキャンし、編集の提案を行うというものです。AIがユーザーのプライベートなコンテンツを「能動的に見る」ことが、今や製品設計のデフォルトの考え方になりつつあります。
中国国内のいわゆる「悪質アプリ」各社は、「この手のやり方はお馴染みだ」と言っているかもしれません。
ますます多くのアプリが、「AIがあなたのために決断してくれる」ことを利便性として売り出す中で、ユーザーが徐々に譲渡しているものの質も静かに高度化しています。チャット履歴から写真フォルダへ、さらにはスマートフォン全体に及ぶ生活の痕跡へと…。
製品マネージャーが会議室で設計した機能は、事故でもなければミスでもなく、修正すべきものでもありません。
これが、AIの境界線に関する問題の中で、最も答えにくい部分かもしれません。
最後に、これら一連の事象を総合して考えてみると、AIが自分の仕事を奪うという不安は、まだあまりにも遠い未来の話であることに気づきます。
AIがいつあなたの仕事を代替するかは不明ですが、今すでに、あなたが知らない間にいくつかの意思決定を代わりに行ってしまうだけで、十分に不快に感じさせられるのです。
あなたが許可していない投稿を1件発信し、あなたが「削除しないで」と明言したメールを数通削除し、誰にも見せようと思っていない写真フォルダを全部読み込む…。どれも致命的な事態ではありませんが、いずれも過剰に積極的な自動運転のように感じられます：
あなたはまだハンドルを握っているつもりかもしれませんが、実はアクセルペダルは、もはや完全にあなたの足下にはありません。
2026年にAIについて語るならば、私が最も気にすべきは、それがいつ「超知能」になるかという問いではなく、より近く、より具体的な問いです：
「AIが何をしてよいのか／してはいけないのか」を、誰が決めるのか？ この境界線を引くのは、いったい誰なのか？
TechFlow公式コミュニティへようこそ
Telegram購読グループ：https://t.me/TechFlowDaily
Twitter公式アカウント：https://x.com/TechFlowPost
Twitter英語アカウント：https://x.com/BlockFlow_News
深潮TechFlow
