a16zがOpenAIのCTOと対談：理論から実践へ、AI技術がどのように未来のイノベーションを牽引するか？
TechFlow厳選深潮セレクト
a16zがOpenAIのCTOと対談：理論から実践へ、AI技術がどのように未来のイノベーションを牽引するか？
将来的に単一のモデルがすべてを支配する状況にはならないでしょう。なぜなら、人々は最終的に自分自身のニーズに最も適したツールを探し求めるからです。
Web3業界の深掘り報道に専念し潮流を洞察執筆：Saint Paul
2022年末OpenAIがChatGPTをリリースして以降、投資分野における人工知能（AI）への理解は深まる一方である。AI産業チェーンはおおむね、コア技術提供者、AIシステム、AIアプリケーション利用者の3つに分けられる。グローバルな投資家の一般的な認識として、AIは今後長期間にわたる重要な投資テーマになる可能性が高いと考えられており、これは30年前のコンピュータや20年前のインターネットに例えられる。また、将来的には応用が現実のものとなるだろう。
特定分野への投資について理解を深めるには、常に産業界の投資家から学ぶ必要がある。著名なベンチャーキャピタリストA16Zは、AI分野に継続的に大規模な投資を行っている。最近彼らはOpenAIのCTO、ミラ・ムラティ（Mira Murati）と対談した。彼女はChatGPTの裏側にある物語や、人工知能および人間と機械のインターフェースの将来について語った。
要約
-
ChatGPTの起源は、「安全な人工知能システムをどう構築するか」という問いかけであり、人間からのフィードバックを活用した強化学習に基づいている。
-
OpenAIは、デジタル情報とのやり取りのあり方を再定義しようとしている。AIシステムをパートナーのようなアシスタントへと進化させ、整合性と安全性を高めている。製品化を通じて、現実世界のユーザーからのフィードバックを得ることで、単なる研究室での仮説検証を超えている。
-
ChatGPTはテキストベースだが、画像や動画なども追加していく。これにより、モデルは私たちが世界を理解・観察するのと同様に、周囲の環境をより包括的に把握できるようになる。
-
将来、単一のモデルがすべてを支配するという状況は起こらないだろう。人々は最終的に、自分自身のニーズに最も適したツールを選ぶからだ。
ミラ（Mira Murati）の背景
ミラは共産主義体制が終焉を迎えたばかりのアルバニアで生まれた。当時のアルバニアは、今日の北朝鮮と非常に似ていた。変化と不確実性に満ちた時代において、教育こそがすべての鍵だった。そして当時、娯楽と言えるものはほとんどなく、本以外に選択肢はなかった。そんな中、ミラは本の中に答えを求めた。彼女は人文学、例えば歴史や社会学などの情報源に対して懐疑的だった。なぜならそれらは時代とともに変化するからだ。一方、科学の中にある安定した、深く掘り下げ可能な真実は、彼女にとって魅力的だった。このようにして育った環境の中で、自然と科学や数学に傾いていった。根本的には、現在OpenAIで彼女が行っている仕事も、やはり数学的な作業に他ならない。
優れた学業成績により、ミラは奨学金を得てカナダで高校の最後の2年間を過ごした。
大学では機械工学を専攻した。なぜなら、知識を現実世界の問題解決に応用する最良の手段だと考えたからだ。特に持続可能な交通手段やエネルギーの実現方法に強い関心を持っていた。卒業研究では、スーパーキャパシタを使ってハイブリッドレーシングカーを製作した。
その後すぐにテスラに入社し、Model Sのデュアルモーター開発に携わった。初期設計段階からModel Xの開発にも参加し、最終的にはプロジェクト全体の立ち上げを主導した。
まさにテスラでの経験が、彼女にとってAIの応用、特に自動運転への関心の始まりとなった。AIとコンピュータビジョンによって移動の在り方が根本から変わる可能性を見出したのだ。こうして、彼女はAIのさまざまな応用についてさらに考えるようになった。AIが世界にもたらす変化に、ますます強い関心を抱くようになった。
具体的には、AIが人間と機械のインタラクション、ひいては人間と情報との関わり方にどう影響するかに強く興味を持ち、空間計算（spatial computing）にも関心を寄せた。その後、彼女は新興技術企業Leap Motionに参画し、製品およびエンジニアリングの副社長を務めた。この経験を通じて、彼女のプロダクト開発能力はさらに磨かれた。
（ちなみに、Leap Motionの創業者David Holzは、同社売却後に現在話題沸騰中のAIアプリケーションMidjourneyを設立している）。
2018年、ミラはOpenAIに入社した。ここから、彼女は「汎用性」のみに注力した場合どうなるかをより深く考えるようになった。
また、ミラが研究手法について語る中で、不確かな環境下でのイノベーションに必要な探求心がうかがえる：
-
時には一晩眠って起きたら新しいアイデアが浮かぶこともある。数日あるいは数週間かけて、最終的な解決策が見えてくる。即効性のある成果ではなく、反復的なプロセスとも限らない。
-
ある種異なる思考法であり、直感を養いながらも、問題に対処し、自らが解決できるという信念を持つ規律が必要だ。時間とともに、本当に解決すべき問題とは何かという直感が育まれる。
対話の要約
著名なベンチャーキャピタリストA16ZはAI分野に積極的に投資している。以下は、A16Zのファンドマネージャーであるマーティンとミラの対話を要約したものである。ミラはChatGPTの裏側の物語や、AIおよび人間と機械のインターフェースの将来について語った。彼女がプロダクトマネージャー出身であることから、製品の実用性に対する強い関心がうかがえる。
マーティン：今の段階で、これはシステムの問題ですか、それとも工学の問題ですか？
ミラ：両方です。システム面でも工学面でも大きな課題があります。我々はこれらの技術を展開し、スケーリングして効率化し、誰でも簡単にアクセスできるようにしようとしています。つまり、MLの複雑な知識がなくても使えるようにすることです。
実際、APIを通じて提供されるモデルと、ChatGPTを通じて提供される技術を比較するとよくわかります。基本的には同じ技術ですが、ChatGPTには強化学習と人間からのフィードバック機能が備わっています。そのため、人々の反応や想像力を掻き立て、毎日使う気にさせる力はまったく異なります。
自然言語インターフェース
マーティン：私はChatGPTのAPIも非常に興味深いと思っています。プログラム内でこれらのモデルを使うたびに、まるでそろばんにスーパーコンピュータを包んでいるような気分になります。ときには「モデルにキーボードとマウスを与え、プログラミングさせたい」とさえ思います。APIは英語ベースなので、指示を出すとすべてのコードを書いてくれます。そこで気になるのは、あなたがChatGPTのようなものを設計する際、将来的には実際のインターフェースは自然言語になると考えますか？ それとも、従来のプログラミング方式にも依然として大きな役割があると思いますか？
ミラ：ChatGPTではプログラミングが抽象的ではなくなり、自然言語を使って高帯域でコンピュータと会話できるようになりました。しかしもう一つの可能性は、この技術が「プログラミングする」のではなく、「協働する」方法を教えてくれている点です。自然言語によるプログラミングが可能になることで、プログラミング層はますます使いやすく、アクセスしやすくなります。しかしChatGPTで見られるもう一つの側面は、モデルをパートナーや同僚のように扱えることです。
マーティン：時間が経てばどうなるか見ていくのはとても興味深いですね。あなた方はChatGPTにAPIを設けましたが、同僚に対してはAPIはありません。同僚とは会話します。将来的には、このようなものが自然言語へと進化していくでしょうか？ それとも、システム内には常に有限状態機械（finite state machine）や従来のコンピュータのような要素が必要だと考えますか？
ミラ：今がまさに転換点です。私たちは、デジタル情報とどう関わるかを再定義しようとしています。それはまさに、こうしたAIシステムを通じた協働の形です。複数のAIシステムがあり、それぞれ異なる能力を持っているかもしれません。あるいは、どこにいてもついてきて、私の背景や今日やったこと、人生や仕事の目標を把握し、助言やガイドをしてくれるような汎用システムがあるかもしれません。それが実現すれば、非常に強力でしょう。
現在、私たちはその再定義の岐路に立っています。将来がどうなるかはまだわかりません。多くの人がこれらのツールや技術を使えるようにして実験してもらい、何が起きるかを見守ろうとしています。これが私たちが当初から採ってきた戦略です。
つい先日のChatGPTでは、「十分によくないのではないか」と心配していました。しかし実際に公開したところ、人々が新たなユースケースを次々と見つけてくれました。これらを誰でも簡単に使えるようにすることで、このようなことが起こるのです。
OpenAIの開発ロードマップ
マーティン：AIに関して人々はまだどう考えればよいかわかりません。何か指針が必要ですし、意思決定もしなければなりません。あなた方はOpenAIとして、次に何をするかを決めなければいけません。もしよければ、その意思決定プロセスを教えてください。どのようにして何をするか、何に注力するか、何をリリースするか、あるいはどのように位置づけるかを決めるのでしょうか？
ミラ：ChatGPTがどう誕生したかを考えてみてください。当初、私たちがリリースしたいと思っていた製品ではありませんでした。その根源は5年以上前まで遡ります。当時、私たちは「安全なAIシステムをどう作るか」ということを考えていたのです。複雑な目的関数を人間が直接書くのは望ましくありません。なぜなら、代替手段に任せたり、間違ったりすることが非常に危険だからです。
そこから生まれたのが、「人間のフィードバックを活用した強化学習」です。私たちが目指していたのは、AIシステムを人間の価値観に一致させ、人間からのフィードバックを受け入れるようにすることでした。人間のフィードバックに基づけば、正しい行動を取る可能性が高まり、望まない行動を取る可能性は低くなるのです。その後、GPT-3を開発しAPI経由で公開した際、この安全に関する研究を初めて現実世界に適用しました。これは「指示に従うモデル（instruction-following model）」の実装によって達成されました。
この手法では、APIを利用している顧客から得たプロンプトを使い、外部委託スタッフがモデルの学習用フィードバックを作成しました。そのデータでモデルを微調整し、指示に従うモデルを構築しました。これにより、ユーザーの意図に沿った行動を取る可能性が高くなり、本当にやってほしいことを実行しやすくなりました。これは非常に重要です。AIの安全性はもはや理論的な概念ではなく、「今、実際に安全なAIシステムの時代に入った」という現実の問題になったのです。
明らかに、大規模言語モデルでは、概念や現実世界のアイデアの表現力が優れています。しかし出力面では多くの問題があります。最も大きな問題の一つが「幻覚（hallucination）」です。私たちは常に幻覚と真実性の問題に取り組んでいます。どうすればモデルに不確実性を表現させることができるでしょうか？
ChatGPTの前身は、情報の取得と出典の引用を行う「WebGPT」というプロジェクトでした。最終的に、私たちは「会話」が特別であると考え、これがChatGPTへと進化しました。会話であれば、質問ができ、相手を訂正でき、不確実性を表明できるからです。
マーティン：つまり、やり取りを通じて間違いを不断に発見できる…
ミラ：そうです。やり取りがあることで、より深い真実に迫れるのです。私たちは当初、GPT-3とGPT-3.5を使ってこの方向に進み始めました。安全性の観点から、非常に有望だと感じていました。しかし人々が忘れているのは、その時点で既にGPT-4の訓練が始まっていたことです。OpenAI内部ではGPT-4に非常に期待しており、ChatGPTは後方視界の存在になっていました。しかし次第に、「GPT-4の整合性と安全性（alignment and safety）に6ヶ月ほど集中しよう」と気づいたのです。そこで、研究者たちにChatGPTを提供し、フィードバックを得ることを考えました。なぜなら、会話形式という新しいインタラクションが可能になっていたからです。当初の目的は、研究者からのフィードバックを得て、GPT-4をより整合性があり、安全で、堅牢かつ信頼できるものにすることでした。
マーティン：あなたが「整合性と安全性」と言うとき、それは「正確であること」「望む通りに動くこと」を含みますか？ それとも「安全」とは、危害から自分を守ることを意味していますか？
ミラ：私が言う「整合性」とは、通常、ユーザーの意図に合致することを意味します。つまり、まさにあなたが望むことを実行することです。一方で「安全性」には、悪意あるユーザーがモデルを悪用して有害な出力を生成しようとするといった問題も含まれます。ChatGPTを通じて、モデルが望む行動を取る可能性を高め、より整合性を持たせようとしています。また、幻覚（hallucination）の問題にも取り組んでいますが、これは極めて困難な課題です。
私は、人間のフィードバックを活用した強化学習というアプローチが、もし真剣に追求すれば、おそらく私たちが必要としているものになると信じています。
マーティン：つまり、壮大な計画はないのですね？ AGI（汎用人工知能）に到達するために必要なことは、ただ一歩ずつ進んでいくことだけですか？
ミラ：はい。そしてその過程で下す小さな意思決定の積み重ねです。数年前に「製品志向」を戦略的に選んだことで、達成の可能性が高まったのかもしれません。私たちは、現実世界のユーザーからのフィードバックなしに、研究室の真空状態でこれらを開発することは不可能だと考えました。それが私たちの仮説です。この考え方が、いくつかの意思決定を助け、最終的にChatGPTのようなものを展開できる基盤インフラを構築するのに役立ちました。
スケーリング則
マーティン：スケーリング則についてもう一度説明していただけますか？ これは誰もが抱く大きな疑問です。進歩のスピードは驚異的ですが、AIの歴史を見ると、どこかの時点で収益逓減に陥ることがあります。それは単なるパラメータの問題ではなく、徐々に頭打ちになる傾向があります。あなたの見解——おそらく業界でも最も洞察に富んだ視点——では、スケーリング則は今後も成立し続けるのでしょうか？ それとも、収益逓減に向かっていると考えますか？
ミラ：データと計算資源の軸でモデルを拡大し続けたとしても、より優れた、より強力なモデルが得られないという証拠は一切ありません。AGI（汎用人工知能）までそのまま続くかどうかは、また別の問題です。その過程では、さらなる飛躍や進歩が必要になるかもしれません。こうした巨大なモデルから真に多くの利益を得るには、スケーリング則の道のりはまだ長いです。
マーティン：あなたはAGIをどう定義しますか？
ミラ：OpenAIの憲章に記されています。AGIとは、「大部分の知的作業を自律的に行えるコンピュータシステム」と定義しています。
マーティン：先日昼食を食べていたとき、AnyscaleのRobert Nishiharaも同席していました。彼が「ロバート・ニシハラの問い」と呼ぶ質問を投げかけました。これは非常に的を射た表現だと思います。彼はこう言いました。「コンピュータとアインシュタインの間に連続体がある。コンピュータから猫、猫から一般人、一般人からアインシュタインへとつながっている。」そして彼は尋ねました。「我々はその連続体のどこにいるのか？ どんな問題が解決できるのか？」
皆の一致した意見は、「猫から一般人になる方法はわかっている。だが、コンピュータから猫になる方法はわからない。それは普遍的な知覚の問題だ。私たちはかなり近づいているが、まだ完全には到達していない。そしてアインシュタインになる方法もわからない。それが推論の設定だ。」ということでした。
ミラ：微調整によって多くのことが可能になりますが、総合的に言えば、ほとんどのタスクでは現時点では「インターンレベル」にとどまっています。問題は信頼性です。システムが常に望む通りに動くとは限らず、多くのタスクではまだそれを達成できません。時間をかけて信頼性を高め、モデルが新たにできる機能を拡張していく必要があります。
こうした新興能力に注目することは重要です。たとえ非常に信頼性が低くてもです。特に今、企業を立ち上げようとしている人にとっては、「今日何が可能か？ 今何が見えるか？」を真剣に考えるべきです。これらのモデルはすぐに信頼できるようになります。
単一モデルによる支配はあるか？
マーティン：すぐあとで将来の予測をお願いします。ですがその前に、少し selfish な質問をさせてください。この分野の経済構造はどう進化していくと思いますか？ 私が何を思い浮かべるか教えてあげましょう。半導体産業に似ているのです。1990年代にパソコンを買うと、奇妙な書き込みプロセッサがたくさんありました。「文字列マッチング用」「浮動小数点演算用」「暗号化用」など、CPUの負荷を分散するものでした。
しかし結局、汎用性が非常に強力だったため、ある種の経済構造が生まれました。インテルやAMDがその代表格です。もちろん、こうしたチップの製造には莫大な費用がかかります。
そこで、2つの未来像が思い浮かびます。1つは、汎用性が非常に強力になり、大型モデルが時間とともにすべての機能を吸収していく未来。もう1つは、さまざまな用途に特化した多数のモデルが存在し、設計空間にさまざまなポイントが散在する未来です。あなたはどう感じていますか？ OpenAIが独占するのか、それとも多くのモデルが共存するのか？
ミラ：それは、何をしたいかによるものです。明らかに、現在のトレンドは、AIシステムが私たちが行っている作業の多くを担っていくということです。それらは自律的に動作できるようになりますが、方向性や指導、監督は人間が提供する必要があります。私は毎日繰り返す退屈な作業をしたくありません。他のことに集中したいのです。あるいは、毎日10～12時間働く必要がなくなるかもしれません。働き方を減らしつつ、より高い生産性を実現できるはずです。それが私の望む未来です。プラットフォームとしてのあり方を考えても、すでにAPIを通じて非常に小さなモデルから最先端のモデルまで、多くの選択肢を提供しています。
人々が常に最も強力で高度なモデルを使う必要はありません。特定のユースケースにぴったり合う、コスト効率の良いモデルで十分な場合が多いのです。私は、さまざまなモデルが範囲として存在すると考えています。ただし、私たちがプラットフォームとして目指しているのは、人々が私たちのモデルの上に何かを構築できるようにすることです。そのためのツールを提供し、使いやすくし、より多くのアクセスと制御権を与えるつもりです。自分のデータを持ち込め、モデルをカスタマイズできるようにします。そして、モデルの外側のレイヤーに注力し、製品を定義できるようにします。これは実際非常に難しいことです。今は多くの注目が「より多くのモデルを作る」ことに集まっていますが、その上に優れた製品を構築するのははるかに難しいのです。
今後5〜10年
マーティン：3年、5年、10年後にこの流れがどこに向かうか、予測していただけますか？
ミラ：現在の基盤モデルは、テキストを通じて世界を優れた形で表現できます。そこに画像、動画、その他のモダリティを追加していくことで、モデルは私たちの周囲の世界をより包括的に理解できるようになります。これは、私たちが世界を理解し観察する方法と類似しています。世界は文字の中だけでなく、画像の中にも存在するのです。私たちは確かにこの方向に進んでおり、事前学習の段階からすべてのモダリティを取り入れたより大規模なモデルを開発していく予定です。事前学習済みモデルが、私たちと同じように世界を理解できるようにしたいのです。
出力部分に関しては、人間のフィードバックを伴う強化学習を導入しています。モデルに本当に望むことを正確にやってもらい、それを信頼できるものにしたい。そのためには膨大な作業が必要で、おそらく「閲覧機能」の導入も必要になるでしょう。そうすれば新しい情報を取得し、出典を示し、幻覚問題を解決できるようになります。不可能だとは思いません。実現可能だと信じています。
製品面では、こうしたすべての要素を人々の共同作業を支える製品群に統合し、人々がその上に何かを構築できるプラットフォームを提供したいと考えています。さらに先を見据えると、これらのモデルは非常に強力なものになります。当然ながら、こうした強力なモデルが私たちの意図と一致しないことへの恐れも生じます。大きな課題は「スーパー整合性（Super Alignment）」であり、これは困難な技術的挑戦です。OpenAIでは、この問題に専念するチームが完全に編成されています。
TechFlow公式コミュニティへようこそ
Telegram購読グループ：https://t.me/TechFlowDaily
Twitter公式アカウント：https://x.com/TechFlowPost
Twitter英語アカウント：https://x.com/BlockFlow_News
