サム・アルトマンが最新情報で明かす：OpenAIが直面する課題と今後の方向性
TechFlow厳選深潮セレクト
サム・アルトマンが最新情報で明かす：OpenAIが直面する課題と今後の方向性
本稿はHumanloopのCEOであるRaza HabibがOpenAIのCEO、Sam Altmanに対して行った最新のインタビューからのものです。Samは今回のインタビューにおいて、現在直面している課題やGPUリソースの制約、Context長、マルチモーダル性、およびオープンソースに関する問題などについて非常に率直に語っています。
Web3業界の深掘り報道に専念し潮流を洞察導入
先週、HumanloopのCEOであるRaza Habibは、Sam Altmanと他の20人の開発者とともに、OpenAIのAPIおよび彼らの製品計画について話し合う機会に恵まれました。Samは非常に率直でした。議論は、開発者が直面する実際の問題から、OpenAIのミッションやAIの社会的影響といったより大きなテーマまで及びました。以下が主なポイントです。
現在のOpenAIはGPUに大きく依存している
議論を通じて繰り返された共通のトピックは、現時点でのOpenAIが極度にGPUに依存しており、それによって多くの短期的な計画が遅れているということです。最大の顧客からの不満は、APIの信頼性と速度に関するものです。Samはこの懸念を認め、その大部分の原因がGPUの不足にあると説明しました。
32kの長いコンテキストはまだ広範囲への展開ができない。 OpenAIはO(n^2)のアテンションスケーリングの課題を未だ克服しておらず、そのため10万〜100万トークンのコンテキストウィンドウ（今年中）は近い将来可能になるかもしれないが、それ以上のサイズには研究上のブレークスルーが必要となる。
ファインチューニングAPIもGPUの可用性に制限されている。 彼らはまだAdaptersやLoRaなどの効率的なファインチューニング手法を活用しておらず、そのためファインチューニングの実行と管理には非常に多くの計算リソースが必要となっている。今後、より優れたファインチューニングのサポートが提供される予定であり、コミュニティがモデルを貢献できるマーケットプレイスを開設する可能性もある。
専用キャパシティの供給もGPUの可用性に制限されている。 OpenAIは、顧客向けにモデルのプライベートコピーを提供する専用キャパシティも提供している。このサービスを利用するには、顧客が事前に10万ドルの支出を約束する必要がある。
OpenAIの中短期ロードマップ
2023年：
より安価で高速なGPT-4――これが最優先事項。全体として、OpenAIは「知能のコスト」を最小限に抑えることを目標としており、引き続きAPIのコスト削減に努める。
長尺のコンテキストウィンドウ――間もなく、最大で100万トークン規模のコンテキストウィンドウが可能になる見込み。
ファインチューニングAPI――最新モデルへの拡張が行われるが、その具体的な形態は開発者のニーズに応じて決まる。
ステートフルAPI（状態保持型API）――現在、チャットAPIを呼び出す際には、同じ会話履歴を繰り返し送信する必要があり、同じトークンに対して再び料金が発生する。将来的なAPIバージョンでは、会話履歴を記憶するようになる。
2024年：
マルチモーダル性――GPT-4リリース時にデモンストレーションされたが、より多くのGPUが利用可能になるまで全ユーザーへの展開は難しい。
プラグインはPMFに達していないため、APIへの実装はすぐにはない可能性
多くの開発者は、APIを通じて外部からChatGPTプラグインを呼び出したいと考えているが、Samによれば、その機能はすぐにはリリースされない可能性があるという。現時点でのプラグインの使用状況を見ると、ブラウジング機能以外はPMF（プロダクトマーケットフィット）に達していない。多くの人はChatGPT内にアプリが統合されることを望んでいると思われたが、実際には人々が本当に求めているのは、自分たちのアプリ内にChatGPTの能力を取り入れることだと彼は述べた。
OpenAIは顧客との競合を避ける――ただしChatGPTを除く
多くの開発者は、OpenAIのAPIを使ってアプリを開発することに不安を感じており、それはOpenAIが自社と競合する製品をリリースする可能性があるためだ。しかしSamは、OpenAIはChatGPT以外の製品を積極的にリリースしないと断言した。偉大なプラットフォーム企業には一つのキラーアプリが必要であり、ChatGPTは同社が自らの製品のユーザとしてAPIの品質向上を図る役割を果たすという。ChatGPTのビジョンは「仕事における超スマートアシスタント」になることだが、それ以外のGPTユースケースについてはOpenAIは手を出さないと彼は強調した。
規制は必要だが、オープンソースも不可欠
Samは将来のモデルに対する規制を求めているが、現行モデルは危険ではないと考えており、それらに対する規制や禁止は大きな誤りだと考えている。彼はオープンソースの重要性を改めて強調し、GPT-3のオープンソース化を検討していると述べた。未だにオープンソース化していない理由の一つとして、個人や企業のどれだけが大規模モデルをホスティング・提供できる能力を持っているかに疑問を抱いていることが挙げられる。
スケーリング則（Scaling laws）は依然として有効
最近、「大規模モデルの時代は終わった」と主張する記事が多く見られるが、これは本来の意図を正確に反映していない。
OpenAIの内部データは、モデル性能に関するスケーリング則が依然として有効であることを示しており、モデルを大きくすればするほど性能が向上し続ける。ただし、スケーリングのペース自体は維持できない。OpenAIは数年間でモデルを数百万倍に拡大してきたが、今後もそれを継続することは非現実的だからだ。これはOpenAIがモデルの拡大を試みなくなることを意味するものではなく、単に毎年2倍から4倍程度の拡大に留まり、桁違いの増加は見込めないということだ。
スケーリング則が依然有効であるという事実は、AGI開発のタイムラインに重要な意味を持つ。スケーリング仮説とは、すでにAGI構築に必要な大部分の要素を我々は手にしている可能性があり、残りの大半の作業は既存の手法をより大規模なモデルとデータセットに適用することに集中するということだ。もしスケーリングの時代が本当に終わったなら、AGIの実現にはまだまだ長い道のりが必要だろう。しかし、スケーリング則が続く限り、AGIの実現時期は比較的短いと強く示唆される。
TechFlow公式コミュニティへようこそ
Telegram購読グループ：https://t.me/TechFlowDaily
Twitter公式アカウント：https://x.com/TechFlowPost
Twitter英語アカウント：https://x.com/BlockFlow_News
