OpenAIもGPU不足に直面しており、コスト削減が最優先課題となっている
TechFlow厳選深潮セレクト
OpenAIもGPU不足に直面しており、コスト削減が最優先課題となっている
120億ドルとほぼすべての計算資源を投入、マイクロソフトが「半分の命」をOpenAIに託した理由。
Web3業界の深掘り報道に専念し潮流を洞察著者 | 凌梓郡
編集 | 卫诗婕
Sam Altmanの欧州訪問はまだ続いている。先日、ロンドンで彼はAI企業HumanLoopのCEOと非公開のディスカッションを行った。HumanLoopは、開発者が大規模言語モデル上にアプリケーションを構築するのを支援する会社である。
HumanLoopのCEOであるRaza Habibはこの会話の要点を記録し、自社の公式ウェブサイト上で公開した。しかし、その後OpenAIからの要請により、その議事録は削除された。これにより、むしろ外部からの関心が高まった。一部では、OpenAIに関するいくつかの考え方が変更されたのではないかと推測されている。
極客公園が削除された議事録を閲覧したところ、そこにはSamが考えるOpenAIの短期的な計画だけでなく、マイクロソフトのクラウドコンピューティングリソースの強力な支援を受けた後にOpenAIが抱えるプレッシャーも垣間見えた。
というのも、モデルのファインチューニングや推論は依然として大量の計算資源を消費する。
The Informationの報道によると、OpenAIのモデルはすでにMicrosoft Azureで12億ドルを費やしており、計算リソースをOpenAIに集中させた結果、マイクロソフトの他の部門が利用可能なサーバーが制限されている。
これについてSamは、コスト削減が現時点での最優先課題であると述べた。
また、Samは次のように明かした：現在、より長いコンテキストウィンドウの開放やファインチューニングAPIの提供といったサービスはGPUリソースの制約を受けている；
この対話の中で、Sam Altmanは競争や商業化など、外部から注目されている多くの問題に回答した：
-
世界的なプロダクトマネージャーであるPeter Dengを最近採用したものの、OpenAIはそれ以上多くの製品をリリースすることを検討していない；
-
将来のアプリケーションのトレンドは、大規模モデルの機能がより多くのアプリに組み込まれることであり、ChatGPT上で多数のプラグインが育つことではない。実際には、ほとんどのプラグインがPMF（Product / Market Fit：製品市場適合）を達成できていないためである；
-
ここ数年、OpenAIはモデル規模を数百万倍に拡大してきたが、このスピードは持続不可能である。今後は、モデル性能の向上のために、1〜3倍のペースでモデル規模を増加させていく。
議事録は5月29日に公開され、ネットユーザーの記録によれば、6月3日頃に削除された。以下はバックアップから取得した内容である：
OpenAIは現在、GPUの制約を強く受けている
会話が長くなるにつれ、必要な計算リソースは指数関数的に増加する
現在、OpenAIのGPUリソースは非常に限られており、これが多くの短期計画の遅延を招いている。顧客からの最大の不満はAPIの信頼性と速度である。Samはこの懸念を認め、大部分の問題はGPU不足によるものだと説明している。
より長い32kのコンテキストはまだ多くの人に提供できない。OpenAIはアテンション機構のO(n^2)スケーリング問題を未だ克服しておらず、そのため10万～100万トークンのコンテキストウィンドウは近い将来（今年中）実現可能と思われるが、それ以上のサイズは研究上のブレークスルーが必要になる。
より長い32Kのコンテキストはまだ多くの人に提供できない。OpenAIはアテンションのO(n^2)スケーリング問題を克服できていないため、10万～100万トークンのコンテキストウィンドウはすぐ（今年中）に実現できるように思えるが、それ以上のサイズには研究的ブレークスルーが必要となる。
注：O(n^2)とは、系列長が増加するにつれて、アテンション計算に必要な計算リソースが指数的に増加することを意味する。Oはアルゴリズムの時間または空間複雑度の増加率の上限、つまり最悪ケースを示す。（n^2）は、複雑度が入力サイズの平方に比例することを表す。
ファインチューニングAPIも現在、GPUの可用性に制限されている。彼らはまだAdaptersやLoRaのような効率的なファインチューニング手法を用いていないため、ファインチューニングによる実行・管理は非常に計算量が多い。将来的にはファインチューニングへのサポートを強化する予定であり、コミュニティベースのモデル貢献マーケットを主催する可能性もある。
専用容量の供給もGPUの可用性に制限される。OpenAIは専用容量を提供し、顧客にモデルのプライベートコピーを提供している。このサービスを利用するには、顧客が事前に10万ドルを支払うことを約束する必要がある。
OpenAIの近中期ロードマップ
2023年：知能のコストを下げる；2024年：マルチモーダルの限定的デモンストレーション。
Samはまた、OpenAI APIの暫定的な近未来ロードマップについても共有した。
2023年：
-
より安価で高速なGPT-4――これが最優先タスクである。全体として、OpenAIは「知能のコスト」を可能な限り下げることを目指しており、今後も時間とともにAPIコストを引き続き低下させる努力を続ける。
-
より長いコンテキストウィンドウ――近い将来、コンテキストウィンドウは最大で100万トークンに達する可能性がある。
-
ファインチューニングAPI――最新モデルまで拡張されるが、具体的な形態は開発者が何を本当に望んでいるかによって決まる。
-
ステートフルAPI（stateful API）――現在、チャットAPIを呼び出す際、同じ会話履歴を繰り返し送信しなければならず、同じトークンに対して繰り返し料金が発生する。将来は会話履歴を記憶できるバージョンのAPIが登場する予定。
2024年：
マルチモーダル――これはGPT-4の一部としてデモンストレーションされるが、より多くのGPUが利用可能になるまではすべてのユーザーに拡大できない。
商業化に関する予測と考察：
プラグインは「PMFがない」、APIへの早期導入はおそらくない。
多くの開発者はAPI経由でChatGPTプラグインを利用したいと考えているが、Samはこれらがすぐにリリースされることはないと述べた。Browsingプラグイン以外の使用状況から見て、まだPMF（製品市場適合）に達していない。多くの人が自分たちのアプリ内にChatGPTを置きたいと思っているが、実際には彼らが本当に求めているのは、アプリの中にChatGPTが存在することだと指摘している。
ChatGPT以外では、OpenAIは顧客との競合を避ける
偉大な企業には一つのキラープロダクトがある。
多くの開発者がOpenAIのAPIを使って開発することに不安を感じているのは、最終的にOpenAIが自社の製品と競合するようなものをリリースするかもしれないからだ。SamはOpenAIはChatGPT以外で新たな製品をリリースしないと述べた。彼によれば、歴史的に偉大なプラットフォーム企業はキラープロダクトを一つだけ持っている。ChatGPTは開発者が自らの製品の顧客となり、APIを改善する機会を与える。ChatGPTのビジョンは「スーパーインテリジェントな業務アシスタント」だが、それ以外の多くのGPTユースケースについてはOpenAIは手を出さない。
規制は必要だが、今はまだではない
「個人や企業が大規模言語モデルを保有・運用できる能力を持っているのかどうか、私は疑問視している」
Samは将来のモデルに対する規制を呼びかけているが、現行のモデルは危険ではないとし、これを規制または禁止することは大きな誤りだと考えている。彼は再びオープンソースの重要性を強調し、GPT-3のオープンソース化を検討していると述べた。まだオープンソース化していない理由の一つは、個人や企業が大規模言語モデル（LLMs）を保有・運用する能力に疑問を持っているためである。
スケール則は依然として有効
数年間で数百万倍の拡大スピードは、永遠に続くわけがない。
最近、「巨大AIモデルの時代は終わった」とする記事が多数出ている。しかし、これは正確ではない。（注：4月のMITでのイベントで、Sam Altmanは「我々はすでに巨大モデル時代の終焉に近づいている」と発言していた。）
OpenAIの内部データは、モデル性能に関するスケール則が依然として有効であり、モデルの規模を大きくすることで性能はさらに向上し続けることを示している。
OpenAIはわずか数年でモデルを数百万倍に拡大したが、このような拡大スピードは継続不可能である。これはOpenAIがモデルをさらに大きくしようとする試みをやめるということではなく、毎年の規模拡大が桁違いではなく、1倍から3倍程度になるということを意味する。
スケール則の有効性はAGI開発のタイムラインに重要な意味を持つ。スケール則の仮定とは、AGI構築に必要な要素の大部分はすでに備わっており、残る作業は既存の手法をより大きなモデルとデータセットに拡張していくことだということである。もしスケールの時代が終わっていたなら、AGIまでの道のりはさらに遠くなるだろう。スケール則が依然として有効であるという事実は、むしろAGIまでの期間が短いことを強く示唆している。
TechFlow公式コミュニティへようこそ
Telegram購読グループ：https://t.me/TechFlowDaily
Twitter公式アカウント：https://x.com/TechFlowPost
Twitter英語アカウント：https://x.com/BlockFlow_News
极客公园
