チューリング賞受賞者たちは、AI界の「オッペンハイマー」になってしまうことを懸念している。

2025.03.11

共有先

TechFlow厳選深潮セレクト

チューリング賞受賞者たちは、AI界の「オッペンハイマー」になってしまうことを懸念している。

かつてAIの基礎を築いた人物が、今や「AI反対」の先頭に立っている。

2025.03.11 - 09:10:26

Web3業界の深掘り報道に専念し潮流を洞察

かつてAIの基礎を築いた人物が、今や「AI反対」の先頭に立っている。

著者：Moonshot

1947年、アラン・チューリングはある講演で「我々が望むのは、経験から学習できるマシンである」と語った。

それから78年後、「計算機界のノーベル賞」と称されるチューリング賞は、このチューリングの問いに生涯を捧げた二人の科学者に授与された。

アンドリュー・バート（Andrew Barto）とリチャード・サットン（Richard Sutton）は、9歳差の師弟関係にあり、AlphaGoやChatGPTの技術的基礎を築いた人物であり、機械学習分野における先駆者でもある。二人は2024年度チューリング賞を共同受賞した。

チューリング賞受賞者アンドリュー・バート（Andrew Barto）とリチャード・サットン（Richard Sutton）

出典：チューリング賞公式サイト

GoogleチーフサイエンティストのJeff Deanは授賞の言葉として、「バートとサットンによって開拓された強化学習技術は、直接的にチューリングの問いに応えたものである。彼らの業績は、過去数十年間のAI進展の鍵となり、彼らが開発したツールは今なおAI繁栄の中心的支柱である……GoogleはACM A.M.チューリング賞を支援できることを光栄に思う」と述べた。

チューリング賞の100万ドルの賞金を唯一スポンサーしているのはGoogleである。

しかし受賞後、注目を集めた二人の科学者は、AI大手企業へ鋭い批判を向けた。メディアに対して彼らは次のような「受賞の感想」を発表した。「現在のAI企業は『商業的インセンティブ』に駆られており、純粋な技術研究ではなく、検証されていない橋を社会に架け、人々にその上を歩かせてテストしている」。

奇しくも、前回AI分野の科学者がチューリング賞を受賞したのは2018年であり、ヨシュア・ベンジオ、ジェフリー・ヒントン、ヤン・ルカンの3人がディープラーニングへの貢献により受賞した。

2018年チューリング賞受賞者たち

出典：eurekalert

その中でも、ヨシュア・ベンジオとジェフリー・ヒントン（2024年ノーベル物理学賞受賞者でもある）という「人工知能の父」と称される二人は、ここ最近のAIブームの中で、グローバルな社会および科学界に対し、大手企業によるAIの濫用への警戒を繰り返し呼びかけている。

ジェフリー・ヒントンは、発言の自由を得るためにGoogleを退職した。今回の受賞者であるサットンも、2017〜2023年にかけてDeepMindの研究科学者として在籍していた。

計算機科学における最高の栄誉が、繰り返しAIの基盤技術を築いた人物たちに贈られる中で、興味深い現象が浮かび上がってきた。

なぜこれらの頂点に立つ科学者たちは、常にスポットライトの下でAIの警鐘を鳴らすのか？

人工知能の「橋を架ける者たち」

アラン・チューリングが人工知能の道案内人だとすれば、アンドリュー・バートとリチャード・サットンはその道を進むための「橋を架ける者」だった。

人工知能が猛スピードで走り出す中で、称賛を受けた後に彼らが問うのは、自分たちが築いたこの橋が、人類の安全な通行を支えられるかどうか、ということだ。

その答えは、おそらく彼らが半世紀以上にわたって歩んできた学術的軌跡の中に隠されている——「機械の学習」をいかにして構築したかを振り返ることで、初めて「技術の暴走」に対する警戒心の意味を理解できるだろう。

出典：カーネギーメロン大学

1950年、アラン・チューリングは著名な論文『計算機械と知能』の冒頭で、哲学的かつ技術的な問いを提起した。

「機械は考えることができるか？」

これを受けてチューリングは、「模倣ゲーム」、すなわち後世に広く知られるようになった「チューリングテスト」を設計した。

同時に、彼は機械の知能はあらかじめプログラミングされるだけでなく、学習を通じて獲得されると提唱した。彼は「子供マシン（Child Machine）」という概念を思いつき、訓練と経験を通じて、まるで子どものように段階的に学んでいくマシンを想像した。

人工知能の核心的目標は、環境を感知し、より良い行動を取る「エージェント」を構築することにある。そして知能の尺度とは、ある行動が他の行動よりも「より良い」と判断できる能力である。

機械学習の目的はまさにこれであり、行動後のフィードバックを与え、機械がその経験から自ら学べるようにすることだ。言い換えれば、チューリングが構想した報酬と罰に基づく機械学習の方法は、パブロフが犬を訓練する手法と本質的に同じである。

ゲームで負け続けて強くなるのも一種の「強化学習」

出典：zequance.ai

チューリングが示した機械学習の道は、30年後にようやく一対の師弟によって橋が架けられた——それが「強化学習（Reinforcement Learning, RL）」である。

1977年、アンドリュー・バートは心理学および神経科学の着想から、人間の知能に関する新たな理論を探求し始めた。ニューロンはまるで「享楽主義者」であり、人間の脳内に存在する数十億のニューロン細胞は、それぞれ「快（報酬）」を最大化し、「苦（罰）」を最小化しようとする。また、ニューロンは単に信号を受信・伝達するだけではなく、ある活動パターンがポジティブなフィードバックを生んだ場合、そのパターンを繰り返そうとする傾向があり、これが共に人間の学習プロセスを駆動しているのだ。

1980年代に入ると、バートは自身の博士号学生であるリチャード・サットンとともに、この「試行錯誤を繰り返し、フィードバックに基づいて接続を調整し、最適な行動パターンを見つける」ニューロン理論を人工知能に応用しようとした。こうして強化学習が誕生した。

『強化学習：導論』は古典的教科書となり、約8万回引用されている

出典：IEEE

師弟二人はマルコフ決定過程という数学的基盤を用いて、多くの強化学習の核心アルゴリズムを開発・実装し、体系的に強化学習の理論的枠組みを構築した。さらに『強化学習：導論』という教科書を執筆し、何万人もの研究者が強化学習の世界に参入できるようにした。二人はまさに「強化学習の父」と呼ぶにふさわしい。

彼らが強化学習を研究した目的は、効率的で正確かつ報酬を最大化し、最良の行動を選択する機械学習手法を追求することであった。

強化学習の「神の一手」

機械学習が「詰め込み式」学習だとすれば、強化学習は「放牧式」学習といえる。

従来の機械学習では、モデルに大量のラベル付きデータを「与える」ことで、入力と出力の間に固定的なマッピング関係を構築する。最も典型的な例は、コンピュータに多数の猫と犬の写真を見せ、「これは猫」「これは犬」と教え込むことだ。十分な量の画像を投入すれば、コンピュータは猫と犬を識別できるようになる。

一方、強化学習では明確な指示がない状況下で、機械が試行錯誤と報酬・罰のメカニズムを通じて、徐々に行動を調整し、結果を最適化していく。まるでロボットが歩き方を学ぶように、人間がずっと「この歩き方は正解、あれは間違い」と教えてあげなくても、試して、転んで、調整して、最終的には自力で歩けるようになり、独自の歩行スタイルさえ確立する。

明らかに、強化学習の原理は人間の知能に遥かに近い。すべての幼児が転倒を繰り返しながら歩き方を覚え、摸索しながら物をつかみ、喃語の中から音節を捉えて言語を習得するのと同じである。

話題となった「回し蹴りロボット」の背後にも強化学習の訓練がある

出典：ユニテック

強化学習の「ハイライト」は、2016年のAlphaGoによる「神の一手」だった。当時、AlphaGoは李世石との対局で37手目に、すべての人間を驚かせる白の一手を打ち、劣勢を一気に逆転し、李世石に勝利した。

囲碁のトップ棋士や解説者たちは、AlphaGoがその位置に打つとは予想しておらず、人間の棋士の経験則では、この手は「意味不明」とされていた。試合後、李世石自身もこの手順をまったく考慮していなかったと認めている。

AlphaGoの「神の一手」は、棋譜を暗記して出たものではない。無数の自己対戦を通じて、試行錯誤し、長期的な計画を立て、戦略を最適化した末に自ら探索した結果であり、まさに強化学習の本質なのである。

AlphaGoの「神の一手」にリズムを乱された李世石

出典：AP

強化学習は、人間の知能に逆に影響を与えることさえある。AlphaGoが「神の一手」を見せた後、棋士たちはAIの囲碁の打ち方を学び始め、研究を始めた。科学者たちは強化学習のアルゴリズムや原理を用いて、人間の脳の学習メカニズムを理解しようとしている。バートとサットンの研究成果の一つには、ドーパミンが人間の意思決定や学習において果たす役割を説明する計算モデルの構築がある。

また、強化学習はルールが複雑で状態が多様な環境を扱うことに特に長け、その中で最適解を見つけることができる。囲碁、自動運転、ロボット制御、曖昧な指示を持つ人間と会話することなどに適用される。

これらはまさに現在最も先端的で注目されているAI応用分野であり、特に大規模言語モデル（LLM）においては、ほぼすべての最先端モデルがRLHF（人間のフィードバックによる強化学習）という訓練手法を採用している。つまり、人間がモデルの回答に評価をつけ、モデルがそのフィードバックに基づいて改善していく方法だ。

しかし、まさにここにバートの懸念がある。大手企業が橋を完成させた後、人々に橋の上で行き来させながら安全性をテストしている、という点だ。

「何の保険措置もないまま、ソフトウェアを数百万ユーザーに直接提供することは、責任ある行為ではない」と、バートは受賞後のインタビューで語った。

「技術の発展には、潜在的な負の影響をコントロールし回避する取り組みが伴うべきだが、私は今のAI企業がそれを本当に実践しているとは見ていない」と彼は付け加えた。

AIの第一人者たちが本当に恐れていること

AIの脅威論が尽きないのは、科学者たちが自ら生み出した未来が暴走することを最も恐れているからだ。

バートとサットンの「受賞の感想」には、現在のAI技術そのものへの非難はなく、むしろAI企業への不満が込められている。

インタビューで彼らは警告した。現在のAIの発展は、大手企業が強力だが誤りやすいモデルを競ってリリースすることで推進されており、それによって巨額の資金を調達し、さらに数十億ドルを投じてチップとデータの軍拡競争を続けている、と。

各投資銀行がAI業界の再評価を進めている

出典：ゴールドマン・サックス

実際に、ドイチェ銀行の調査によると、現在のテック大手がAI分野に投資している総額は約3400億ドルにのぼり、これはギリシャの年間GDPを超える規模である。業界のリーダーであるOpenAIは、企業評価額2600億ドルに達しており、新たに400億ドルの資金調達を準備している。

実際、多くのAI専門家がバートとサットンの見解に同意している。

以前、元Microsoft幹部のスティーブン・シンノフスキーは、AI業界は規模拡大の罠に陥っており、コストを下げていく技術発展の歴史的トレンドに反して、資金を燃やすことで技術進歩を買っていると指摘した。

そして3月7日、元Google CEOのエリック・シュミット、Scale AI創設者のAlex Wang、AI安全センター所長のDan Hendrycksの3人が連名で警告的な論文を発表した。

この3人のテック業界の重鎮は、現在のAI最前線の発展状況は、マンハッタン計画を生み出した核兵器競争と似ており、AI企業はこっそりとそれぞれの「マンハッタン計画」を進めていると述べた。過去10年近く、彼らのAIへの投資は毎年倍増しており、もし規制がなければ、AIは原爆以来最も不安定な技術となる可能性があると警告している。

『スーパーインテリジェンス戦略』および共著者

出典：nationalsecurity.ai

ディープラーニングの功績により2019年にチューリング賞を受賞したヨシュア・ベンジオも、ブログに長文を投稿し警告した。現在のAI産業には兆ドル規模の価値があり、資本が群がり奪い合っている。しかも、現在の世界秩序を深刻に破壊する影響力を持っている、と。

多くの技術出身のテック関係者たちは、今日のAI業界は、技術の探究や知能の考察、技術の濫用への警戒から離れ、チップを積み上げて資金を投じる大資本の利益追求モードへと突き進んでいると考えている。

「巨大なデータセンターを建設し、ユーザーからお金を集めて、まだ安全とは言えないソフトウェアを使わせる。これは私の支持する動機ではない」と、バートは受賞後のインタビューで語った。

30カ国、75人のAI専門家が共同で執筆した初版『先進的人工知能安全に関する国際科学報告書』には次のように書かれている。「汎用人工知能（AGI）のリスクを管理する方法は、しばしば『AI開発者と政策立案者がAGIモデルやシステムの能力および潜在的影響を正しく評価できる』という前提に立っている。しかし、AGIの内部動作、能力、社会的影響についての科学的理解は、実は非常に限定的である」。

ヨシュア・ベンジオの警告の長文

出典：Yoshua Bengio

明らかに、今日の「AI脅威論」は、矛先を技術から大企業へと移している。

専門家たちが大企業に警告するのは、「あなたたちは資金を燃やし、素材を積み上げ、パラメータを競っているが、本当に自分が開発した製品を理解しているのか？」という問いである。これこそが、バートとサットンが「橋を架ける」という比喩を用いた理由なのだ。技術は人類共有のものだが、資本は大企業に属している。

ましてや、バートとサットンが一貫して研究してきた強化学習は、その原理が人間の知能に近く、「ブラックボックス」性が強く、特にディープ強化学習では、AIの行動パターンが複雑で説明困難になる。

これこそが科学者たちの懸念の根幹である。人工知能の成長を支え、見守ってきたが、その意図を読み解けなくなっているのである。

ディープラーニングと強化学習の技術を切り開いたチューリング賞受賞者たちは、AGI（汎用人工知能）の発展そのものを恐れているわけではない。むしろ、大企業間の軍拡競争がAGI分野で「知能爆発」を引き起こし、気がつかないうちにASI（超知能）を生み出してしまわないかを恐れている。この二つの違いは技術的問題にとどまらず、人類文明の将来の運命に関わる。

人間の知能を超越するASIは、情報量、意思決定速度、自己進化のレベルにおいて、人間の理解をはるかに超えるだろう。もしASIに対して極めて慎重な設計とガバナンスが行われなければ、それは人類史上最後にして、最も対抗できない「技術的特異点（シンギュラリティ）」となる可能性がある。

AI熱狂の現在、これらの科学者たちは最も「水を差す」資格を持つかもしれない。50年前、コンピュータがまだ巨大な装置だった時代から、彼らはすでに人工知能の研究を始めていた。彼らが過去を形作り、現在を作り上げてきたのだから、未来を疑う立場にあるのだ。