Meta首席AI科学者ヤン・リーチュン、再びジェネレーティブAIを批判
TechFlow厳選深潮セレクト
Meta首席AI科学者ヤン・リーチュン、再びジェネレーティブAIを批判
オープンソースモデルは、着実かつ確実にクローズドソースモデルを追い越しつつある。
Web3業界の深掘り報道に専念し潮流を洞察出典：中国企業家雑誌
画像提供元：無界AI生成
「生成モデルを捨て、LLM（大規模言語モデル）の研究をやめるべきだ。テキストだけでの学習では、AIを人間の知性レベルに到達させることは不可能だ。」最近、Metaの最高AI科学者であるヤン・ルカン氏は、フランス・パリで開催された2025年人工知能行動サミットにおいて、再び生成AIを厳しく批判した。
ルカン氏は、現行の大規模モデルは動作効率が高くても、推論プロセスが発散的であり、生成されるトークンが妥当な回答の範囲外になる可能性があると指摘する。これが一部の大規模モデルが「ハルシネーション」（幻覚）を起こす理由だと説明している。現在の多くの生成モデルは弁護士試験に合格したり、数学の問題を解いたりできるが、家事をこなせない。人間にとっては無意識で行える作業も、生成AIにとっては非常に複雑なのだ。
また、生成モデルは動画制作にはまったく向いておらず、現在見られる動画生成AIモデルは物理世界を理解しておらず、「美しい画像を作っているだけ」だと述べた。ルカン氏が支持するのは物理世界を理解できるモデルであり、動画内容の予測に適した「結合埋め込み予測アーキテクチャ（JEPA）」を提唱している。彼は、AIが真に物理世界を理解できるようになって初めて、人間の知性に匹敵する人工知能が実現すると確信している。
最後に、ルカン氏はオープンソースのAIプラットフォームの必要性を強調した。今後、我々は汎用バーチャルアシスタントを持つことになり、それらは私たちとデジタル世界とのすべてのやり取りを調整するだろう。このようなAIシステムは世界中のすべての言語を話し、あらゆる文化、価値体系、関心領域を理解しなければならない。これはシリコンバレーのごく少数の企業から生まれるはずはなく、効果的な協力によってのみ実現可能だと訴えた。
主な見解は以下の通り：
1. 人間並みの知能が必要なのは、我々が人とやり取りすることに慣れているからであり、人間並みの知性を持つAIシステムの出現を期待している。将来、どこにでも存在するAIアシスタントは、人間とデジタル世界の橋渡しとなり、より良いインタラクションを可能にする。
2. テキスト学習だけでAIを人間の知性レベルに到達させることは不可能だ。
3. Metaでは、人間並みの知性を持つAIを「高度機械知能（AMI）」と呼んでいる。「AGI」（汎用人工知能）という表現は好まない。AMIはフランス語で「友人」と似た発音になる。
4. 生成モデルは動画制作にまったく不向きである。動画を生成できるAIモデルを見かけるかもしれないが、それらは物理を理解していない。ただ美しい画像を生成しているだけだ。
5. もしあなたが人間並みの知性を持つAIに興味があり、学術界にいるなら、LLMの研究をしてはいけない。数万個のGPUを持つ数百の組織と競争することになるが、それは意味がない。
6. AIプラットフォームは共有されなければならない。世界中のすべての言語を話し、すべての文化、価値体系、関心領域を理解する必要がある。そのような基盤モデルを単一企業が訓練することは不可能であり、効果的な協力を通じてのみ達成できる。
7. オープンソースモデルは、着実かつ確実にクローズドソースモデルを追い越しつつある。
以下は講演の全文要約（編集あり）：
なぜ人間並みの知性を持つAIが必要なのか
周知の通り、人間並みのAIは科学的にも製品的にも重要なニーズである。将来的にはスマートグラスなどのウェアラブル端末を通じて、いつでもAIアシスタントにアクセスし、やり取りする時代が来る。
人間並みの知能が必要なのは、我々が人と相互作用することに慣れ親しんでいるためであり、人間並みの知性を持つAIシステムの登場を期待している。将来的に至る所にあるAIアシスタントは、人間とデジタル世界をつなぐ架け橋となり、よりよい相互作用を支援するだろう。しかし、人間や動物と比べると、現在の機械学習は未熟であり、人間のような学習能力、常識、物質世界の理解能力を持つマシンはまだ作られていない。動物や人間は常識に基づいて目的駆動的に行動することができる。
そのため、現在広く使われているAIシステムは、我々が求めている特性を持っていない。これらは再帰的にトークンを生成し、既存のトークンから次のトークンを予測する。このシステムの訓練方法は、入力情報を与え、出力側で同じ情報を再現させるというものだ。因果構造であり、チートはできず、特定の入力を使って自身を予測することはできない。周囲のトークンしか見ることができない。そのため非常に効率的であり、「汎用大規模モデル」と呼ばれ、テキストや画像の生成に利用されている。
しかし、この推論プロセスは発散的であり、各トークンの生成時に正しい答えの範囲外に出てしまう可能性がある。それが続くと正解からますます遠ざかり、修正もできなくなる。これが一部の大規模モデルが「ハルシネーション」を起こす原因である。
現時点のAIは人間の知性を再現できていない。猫やネズミのような動物の知性さえ再現できていない。動物は物理世界の法則を理解しており、計画なしに常識に基づいた行動ができる。10歳の子供は学ばずに食器を片付けたりテーブルを拭いたりできるし、17歳の若者は20時間で運転を習得できる。しかし、家庭用ロボットはまだ実現できていない。これは、現在のAI研究に重要な要素が欠けていることを示している。
現在のAIは弁護士試験に合格し、数学の問題を解き、定理を証明できるが、家事はできない。我々が「考えなくてもできる」と思っていることは、AIロボットにとっては非常に複雑であり、一方で人間に特有と思われる言語やチェス、詩の創作などは、今のAIが簡単にこなせる。
テキスト学習だけではAIを人間の知性レベルに到達させることは不可能だ。これは絶対に起こらない。一部の利害関係者は「来年にはAIの知能が博士レベルに達する」と言うが、それはありえない。AIは将棋や翻訳といった特定分野では博士レベルに達するかもしれないが、汎用大規模モデルでは不可能だ。特定分野向けに訓練されたAIモデルは、標準的な問いに対して数秒で答えを出せるが、わずかに問いを変えると、同じ答えを返してしまう。なぜなら、真にその問いを「考え」ていないからだ。人間並みの知性を持つAIシステムを実現するには、まだ時間がかかる。
「AGI」ではなく「AMI」
Metaでは、人間並みの知性を持つAIを「高度機械知能（AMI）」と呼んでいる。「AGI」（汎用人工知能）という表現は好まない。AMIはフランス語で「ami」（友人）に似た発音になる。感覚情報を取り込み、それを頭の中で操作しながら学習するモデルが必要だ。例えば、持続的な記憶を持つシステム、階層的に行動を計画できるシステム、推論可能なシステムなどを設計により、微調整ではなく制御可能で安全なシステムを実現すべきだ。
現在、このようなシステムを構築する唯一の方法は、AIの推論方式を変えることだと私は考えている。現在のLLMの推論は、固定数のニューラルネットワーク層（Transformer）を実行してトークンを生成し、それを入力として再度固定数の層を実行する。この方式の問題は、簡単な質問でも複雑な質問でも、「はい」または「いいえ」を答えるのに同じ計算量がかかってしまうことだ。そのため人々は常にチートを使い、システムにどう答えるかを指示している。人間はこの思考のテクニックを知っており、システムに多くのトークンを生成させることで、より多くの計算リソースを使うように仕向けている。
しかし、実際の推論はそうではない。古典的な統計的AIや構造予測など多くの分野では、推論とは観測値と出力値の間の適合性または不適合性を測る関数を持ち、その中で情報空間を最小限に圧縮して出力する値を探すプロセスである。この関数を「エネルギー関数」と呼ぶ。結果が要求に合わなければ、システムは最適化を行い、推論を続ける。難易度の高い問題であれば、より長い時間をかけて推論を行う。つまり、複雑な問題に対してより長く「考える」のだ。
古典的AIの多くは推論と探索に関わっており、あらゆる計算問題は推論または探索問題に還元できる。このような推論は、心理学者が「システム2」と呼ぶものに近い。行動を起こす前に、まずどうするかを考える。一方、「システム1」は無意識に行えることで、潜在意識となる。
出典：動画スクリーンショット
エネルギーモデルについて簡単に説明しよう。エネルギー関数を使って変数間の依存関係を捉えることができる。観測値Xと出力値Yがあるとき、XとYが適合する場合、エネルギー関数は低値を取り、不適合の場合は高値を取る。XからYを直接計算するのではなく、適合度を測るエネルギー関数があればよく、Xを与えられたときにエネルギーの低いYを見つければよい。
次に、世界モデルというアーキテクチャがどのように構築され、思考や計画とどう関係しているかを詳しく見てみよう。このシステムでは、世界の観測が感知モジュールを通過し、世界の状態を要約する。もちろん、世界の状態は完全に観測可能ではないため、記憶と組み合わせる必要があるかもしれない。記憶には、世界の状態に関する自分の考え方を含め、これらを合わせて「世界モデル」を構成する。
では、世界モデルとは何か？世界モデルは現在の世界の状態を抽象的に要約したものであり、想像上の行動列を提示し、その行動後の世界の状態を予測する。もし「目の前に浮かぶ立方体を垂直に90度回転させたとき、どう見えるか？」と聞かれたら、あなたは簡単にその様子を思い描けるだろう。
本当に機能する音声・動画技術が登場する前にも、人間並みの知性を持つAIは実現できると考えている。このような世界モデルがあれば、一連の行動の結果を予測でき、それをタスク目標に入力することで、最終状態がどれだけ目標を満たしているかを評価できる。これは単なる目的関数であり、さらに制約条件を設けることもできる。これらはシステムの安全な動作に必要な要件としてハードコードされ、訓練や推論の範囲外に置かれる。
一連の行動は、複数の時間ステップにわたって世界モデルを繰り返し使用する。最初の行動を実行すれば、その結果の状態を予測し、次の行動をすればさらに次の状態を予測し、その軌道に沿って進む。タスク目標や制約条件も設定できる。世界が完全に決定的で予測可能でない場合、世界モデルは潜在変数を持つ必要があり、観測されていない事象を説明できるようにする。これにより予測にバイアスが生じる可能性がある。最終的に、階層的に計画できるシステムが必要だ。いくつかの抽象レベルを持つことができ、低レベルでは基本的な筋肉制御のような細かい行動を計画し、高レベルでは抽象的なマクロ行動を計画できる。例えば、ニューヨーク大学のオフィスに座って、パリへ行くことを決める。このタスクを「空港へ行く」「飛行機に乗る」という2つのサブタスクに分け、それぞれを詳細に計画する：バッグを取る、外出する、タクシーを呼ぶ、エレベーターに乗る、チケットを買う……
私たちは日常的に階層的計画をしていることに気づかないことが多く、ほとんどが無意識の行動だが、これを機械学習にどう教えるかはまだわからない。ほぼすべての機械学習プロセスは階層的計画を行うが、各レベルのプロンプトは手作業で入力されている。抽象的な表現だけでなく、世界モデルの予測や異なる抽象レベルでの抽象行動の予測も学習できるようなアーキテクチャを訓練し、人間のように無意識に階層的計画を行えるようにすべきだ。
AIに世界を理解させるには
こうした考察を踏まえ、3年前に私は長い論文を書き、AI研究が注力すべき分野を説明した。ChatGPTが話題になる前のことだったが、今日まで私の考えは変わっていない。ChatGPTは何も変えなかった。その論文は「自律型機械知能への道」について書かれたものだが、現在では「高度機械知能（AMI）」と呼んでいる。「自律型」という言葉が人々を脅かすためだ。私はさまざまな場でこの話を講演してきた。
システムに世界の仕組みを理解させる一般的な方法は、自然言語システムを訓練する際に使ってきた手法を動画に応用することだ。システムが動画の先を予測できれば、その背後にある世界の構造を理解していると言える。短い動画を見せ、その後に何が起きるかを予測させ、その予測を訓練することで、システムは世界の基礎構造を学べる。テキストの場合、単語の予測は比較的簡単で、語彙数も有限、ラベル付け可能な量も限られている。どの単語が次に来るか正確に予測できないとしても、辞書内の各単語の出現確率を算出できる。
しかし、画像や動画では同じことはできない。動画フレームの分布をうまく表現する方法がなく、試みるたびに数学的な困難に直面する。そこで、物理学者が開発した統計学や数学を使って解決しようとするが、実際には確率モデリングそのものを捨ててしまうのが最善だ。
世界に何が起こるかを正確に予測することはできない。システムに1フレームだけを予測させても、うまくいかない。そのため、私が提唱する「結合埋め込み予測アーキテクチャ（JEPA）」という新しいアーキテクチャを開発する必要がある。生成モデルは動画制作にまったく不向きであり、動画生成AIモデルを見かけたとしても、それらは物理を理解していない。ただ美しい画像を生成しているだけだ。JEPAのアイデアは、観測値と出力値を同時に処理し、ピクセルの予測ではなく、動画内で何が起きているかの予測を行うことだ。
出典：動画スクリーンショット
この二種類のアーキテクチャを比較しよう。左は生成アーキテクチャで、観測値Xをエンコーダに入力し、Yを予測するシンプルなもの。右のJEPAアーキテクチャでは、XとY、および同一または異なるエンコーダを同時に実行し、抽象空間におけるXの表現からYの表現を予測する。これにより、システムは基本的に「予測できないものをすべて除去する」エンコーダを学習する。まさにそれが私たちが目指すことだ。
部屋で撮影しているとき、カメラが動き始めると、人間であろうとAIであろうと、次のフレームに誰が現れるか、壁や床の模様がどうなるかを正確に予測することはできない。予測できない事象は他にもたくさんある。だからこそ、予測不可能な事象に対して無理に確率的予測をしようとせず、こういった詳細を本質的に排除するような表現を学習すれば、予測ははるかに簡単になり、問題自体を単純化できる。
JEPAアーキテクチャにはさまざまなバリエーションがあるが、ここでは潜在変数の話は省き、アクション条件に焦点を当てる。これは最も興味深い部分であり、まさに世界モデルそのものだ。観測値Xが現在の世界の状態であり、これから行う行動をエンコーダに入力する。このエンコーダこそが世界モデルであり、その行動後の世界の状態の表現を予測してくれる。これが計画の方法だ。
最近、Video JEPAについて深く研究している。このモデルはどのように動作するか？例を挙げよう。まず動画から16フレームの連続したフレームを入力サンプルとして抽出し、一部のフレームをマスクして破損させる。そして、部分的に破損したこれらの動画フレームをエンコーダに入力し、同時に予測モジュールを訓練して、欠損した映像情報から完全な動画表現を再構築できるようにする。実験では、この自己教師あり学習法が顕著な優位性を持ち、学習された深層特徴は動画の動作分類などの下流タスクに直接適用でき、多数のベンチマークテストで優れた性能を発揮した。
非常に面白いことがある。このシステムに、動画で奇妙なことが起きるように見せると、実際にはシステムが「予測誤差が急上昇している」と教えてくれるのだ。動画を撮影し、その中の16フレームを使ってシステムの予測誤差を測定する。何か奇妙なことが起きれば、例えば物体が突然消えたり形を変えたりすれば、予測誤差が上昇する。つまり、システムは単純ながら一定程度の常識を学習しており、世界で奇妙なことが起きているかどうかを教えてくれるのだ。
最新の研究成果であるDINO-WM（視覚的世界を再構築せずに視覚ダイナミクスモデルを構築する新方法）を紹介したい。世界の画像一枚を使って予測器を訓練し、DINOエンコーダを通す。その後、ロボットがある行動をすると、次のフレームの動画を得られる。このフレームを再びDINOエンコーダに入力して新しい画像を生成し、その行動に基づいて何が起きるかを予測するように予測器を訓練する。
計画は非常にシンプルだ。初期状態を観察し、DINOエンコーダに入れて処理する。想像上の行動を使って、複数の時間点とステップで世界モデルを実行する。目標状態は目標画像で表され、例えばそれをエンコーダに入力する。そして、予測状態と目標画像の状態との間の差異を表現空間で計算し、コスト最小の行動系列を見つける。
出典：動画スクリーンショット
非常にシンプルな概念だが、非常に効果的だ。小さなT字型のパターンを特定の位置まで押したいとする。その位置がどこかはわかっている。その位置の画像をエンコーダに入れれば、表現空間に目標状態が得られる。計画された一連の行動を取ったとき、現実世界で実際に何が起きたかを見てみると、システムが内部で予測した行動系列が見える。それをデコーダに入れると、内部状態のグラフィカルな表現が得られる。
生成モデルの研究をやめよ
最後に、いくつか助言を共有したい。まず、生成モデルの研究をやめることだ。現在最も流行している手法であり、誰もが研究している。代わりにJEPAを研究すべきだ。これは生成モデルではなく、表現空間で世界に何が起きるかを予測するものだ。強化学習もやめるべきだ。私は長年そう言い続けてきたが、これは非効率的だ。もしあなたが人間並みの知性を持つAIに興味があり、学術界にいるなら、LLMの研究をしてはいけない。数万個のGPUを持つ数百の組織と競争することになるが、それは意味がない。学術界にはまだまだ解決すべき問題が多い。計画アルゴリズムは非常に非効率であり、よりよい方法を考え出す必要がある。不確実性下での階層的計画における潜在変数付きJEPAは、まったく未解決の問題であり、学者たちによる探究が歓迎される。
将来、我々は常にそばにいて、デジタル世界とのすべてのやり取りを調整してくれる汎用バーチャルアシスタントを持つことになる。このようなAIシステムがシリコンバレーまたは中国のごく少数の企業からだけ生まれるわけにはいかない。つまり、これらのシステムを構築するプラットフォームは、オープンソースで広く利用可能でなければならない。
AIプラットフォームは共有されなければならない。世界中のすべての言語を話し、すべての文化、すべての価値体系、すべての関心領域を理解しなければならない。そのような基盤モデルを単一企業が訓練することは不可能であり、効果的な協力によってのみ実現できる。
したがって、オープンソースのAIプラットフォームは不可欠である。私がヨーロッパや他の地域で見ている危機は、地政学的競争が一部の政府を誘い、科学的秘密を守って優位に立とうと、事実上オープンソースモデルの公開を違法化していることだ。これは巨大な誤りである。秘密裏に研究を行えば、必ず遅れを取る。避けられないことだ。世界の他の国々がすべてオープンソース技術を採用し、いずれはそれを追い越すだろう。まさに今、それが進行している。オープンソースモデルは、着実かつ確実にクローズドソースモデルを追い越しつつある。
TechFlow公式コミュニティへようこそ
Telegram購読グループ：https://t.me/TechFlowDaily
Twitter公式アカウント：https://x.com/TechFlowPost
Twitter英語アカウント：https://x.com/BlockFlow_News
