モデル、インフラ、アプリケーションに関して、現在まだ解決されていない核心的な問題について
TechFlow厳選深潮セレクト
モデル、インフラ、アプリケーションに関して、現在まだ解決されていない核心的な問題について
「資本の天井」というもの、つまり最先端モデルの高額なコストを負担できるのは大企業だけという状況は存在するのでしょうか？
Web3業界の深掘り報道に専念し潮流を洞察執筆：Elad
多くの分野では、時間の経過とともに物事に対する理解が明確になっていく。しかし生成AIの分野においては、状況が逆である可能性がある。この分野は現在非常に初期段階にあり、新たな変数やモダリティ、システムの変化が極めて複雑であると考えられる。このような初期探求の過程では、膨大な情報の中から必要なものをフィルタリングし、不確かさの中で実践を重ねながら可能な道筋を探り、深い考察を積み重ねていくことが私たちが継続的に行っていることだ。
Elad は連続起業家であり、Airbnb、Coinbase、Figma、Notion、Pinterestなど著名なプロジェクトの初期投資家でもある。本稿では、彼が最近LLM（大規模言語モデル）、インフラ層、AIアプリケーション層に関して提起した未解決の問題について紹介する。内容は深く包括的であり、議論やフィードバックを歓迎する。
大手テック企業は巨額の投資を通じてLLM市場の構図を形成しており、これにより重要な疑問が浮かび上がる：このような市場環境下で、小規模なスタートアップや独立系開発者が足場を見つけるにはどうすればよいのか？「資本の天井」のようなものがあり、最先端モデルの高コストを負担できるのは大企業だけになるのか？
LlamaやMistralといったオープンソースモデルもLLM分野で重要な役割を果たしている。オープンソースモデルは、閉鎖的なモデルに対抗する手段として技術の普及と革新を促進する。しかし、商用利用における制限や持続可能性は、オープンソース大規模モデルが解決すべき重要な課題のままである。
01.LLMに関する問題
ある意味で、LLMには二種類存在する。一つはGPT-4のような技術的最前線にある汎用モデルであり、もう一つはそれ以外のすべてのモデルである。2021年、Eladは巨額の資本が必要となるため、最前線のモデル市場は少数の企業による寡占市場へと進化すると予測していた。一方で、非最前線の大規模モデルは価格競争が主導し、オープンソースモデルの影響力が強くなるとも述べていた。
現在の状況はその方向に進んでいるように見える。最先端のLLMは寡占市場になりつつあり、現在の競合にはOpenAI、Google、Anthropicのようなクローズドモデルに加え、Llama（Meta）やMistralのようなオープンソースモデルが含まれる。今後1〜2年のうちにリストが変わる可能性はあるものの、最前線モデルの訓練コストは増加の一途を辿っており、一方で他の汎用モデルのコストは年々低下しながら性能は向上している。例えば、現在GPT-3.5を訓練するコストは、2年前の約5分の1程度にまで下がっている。
モデルの規模が拡大するにつれ、資金の多くはクラウドプロバイダーと大手テック企業から供給されている。たとえば、マイクロソフトはOpenAIに100億ドル以上を投資し、Anthropicはアマゾンとグーグルから合わせて70億ドルの資金を得ている。NVIDIAもこの分野に多額の投資を行っている。これに対して、ベンチャーキャピタルからの資金調達額は相対的に微々たるものだ。最先端モデルの訓練コストが急騰する中、新規の資金提供者は大手テック企業や、UAEのように地元企業を支援する国家政府に集中しつつある。この傾向は市場に影響を与え、潜在的な勝者を早期に決定しかねない。
こうしたクラウドプロバイダーの投資は、得られる収益と比べると氷山の一角に過ぎない。たとえば、マイクロソフトのAzureは四半期ごとに250億ドルの収益を上げており、OpenAIへの約100億ドルの投資は、Azureのわずか6週間分の収益に相当する。しかしAIによってAzureの収益は大きく押し上げられており、最近ではAI需要により収益成長率が6ポイント上昇し、年間で50～60億ドルの追加収益を生み出している。これは純利益ではないが、それでも非常に注目すべき数字であり、大手クラウドプロバイダーにはさらなる大規模モデルへの資金提供のインセンティブがあることを示している。同時に、MetaのLlamaモデルに対する取り組みも無視できない。同社は最近、大規模モデルの訓練に200億ドルの予算を割くと発表した。
LLMに関するいくつかの核心的問題
クラウドプロバイダーは、大規模な計算資源／資本を提供することで少数の最前線プレイヤーを育成し、そのスケールによって寡占市場を固定化しているのか？クラウドプロバイダーが新しいLLM企業への支援を停止し、既存企業への支援のみを続けるようになったらどうなるのか？基礎モデル最大の資金提供者は、ベンチャーキャピタルではなくクラウドプロバイダーである。彼らは買収活動に制限があるうえ、クラウド利用自体が収益を生むため、このような行動は理にかなっている。しかし、これにより市場ダイナミクスに歪みが生じる可能性がある。これはLLMの長期的な経済構造や市場構造にどのような影響を与えるのか？十分な資本や人材を持たないために、近い将来、新たなLLM企業が次々と終焉を迎える可能性があるのか？
OSS（オープンソースソフトウェア）モデルは、AIの経済構造を基礎モデルからクラウドコンピューティングへと転換させるのか？Metaは今後もオープンソースモデルを支援し続けるのか？もしそうなら、たとえばLlama-Nは最前線の大規模モデルに追いつくことができるのか？AIの最前線で優れたパフォーマンスを発揮するオープンソースモデルは、LLMからクラウドおよび推論サービスプロバイダーへと、AIインフラストラクチャーの一部を変える可能性を持ち、他のLLM基盤企業の収益を減少させるかもしれない。
Llama2の使用条件には、ユーザー数が7億未満の場合に限り商業利用を許可するという条項がある。これにより、一部の大手競合企業の利用が阻まれている。大手クラウドプロバイダーは、Metaに対してLlamaのライセンス料を支払わなければならない。これはMetaにとって、Llamaを長期的にコントロールし収益を得る手段となっている。
モデルの価格と性能の関係をどのように捉えるべきか？通常の人間がタスクを完了する速度と比較して、遅くても高性能なモデルは非常に価値があるかもしれない。最新のGeminiモデルはまさにこの方向性を示しており、100万以上のトークンを扱えるコンテキストウィンドウを持つ。コンテキストウィンドウの長さや理解深度の向上は、ユーザーがAIを利用する際の考え方に変化をもたらす可能性がある。反対側では、Mistralは小型で高速かつ安価な推論が可能な高性能モデルの価値を示している。以下の表はこの問題をさらに細分化したものである。
基礎モデルのアーキテクチャはどのように進化していくのか？異なるアーキテクチャを持つエージェント型モデルは、LLMの将来の可能性をある程度置き換えるのか？他の形式の記憶や推論をいつ導入すべきか？
政府は自国のAIトップ企業への支援や調達を推進するのか？政府は自国の価値観、言語、文化的ニーズを反映したモデルを支援したいと考えているのか？クラウドプロバイダーやグローバル大手テック企業以外の潜在的な資金源として、国家がある。現在、ヨーロッパ、日本、インド、UAE、中国など各国に優れた大規模モデル企業が存在する。政府の収入だけで、数十億ドル規模のローカライズされたAI基礎モデル企業が数社生まれる可能性がある。
02.インフラに関する問題
用途の異なる複数種類のインフラ企業が存在する。たとえば、Braintrustは評価、プロンプト、ログ記録、エージェント機能を提供し、企業が「感覚に基づく」AI分析からデータ駆動型へ移行するのを支援している。Scale.aiなどの企業は、データアノテーション、ファインチューニング、その他の分野で重要な役割を果たしている。
AIインフラにおける最大の不確実性の問題は、AIクラウドスタックの進化に関係している。スタートアップ企業と大企業では、AIクラウドサービスに対するニーズが大きく異なる。スタートアップにとっては、Anyscale、Baseten、Modal、Replicate、Togetherなどの新しいクラウドプロバイダーとツールが正しい方向に向かっており、顧客と収益の成長を実現している。
一方で、特殊な要件を持つ大企業向けには、未解決の問題が残っている。たとえば、現在のAIクラウド企業は、大企業向けにオンプレミス／BYOC／VPN版の製品を開発する必要があるのか？大企業は以下を最適化しようとするだろう：
（a） すでに予算が割り当てられた既存のクラウドマーケットプレイスのクレジットを利用してサービスを購入すること；
（b） 遅延やパフォーマンスの問題から、ネットワークアプリケーション／データホスティング先（AWS、Azure、GCPなど）との完全な往復通信を検討すること；
（c） セキュリティやコンプライアンス（FedRAMP、HIPAAなど）への関心。
AIクラウドの短期的なスタートアップ市場は、長期的な企業ニーズとは異なる可能性がある。
AIクラウドサービスの採用は、どの程度GPUリソースの制約／GPU裁定によって引き起こされているのか？主要クラウドプロバイダーがGPU不足に直面する中、企業は需要を満たすために十分なGPUを確保しようと必死になっている。これが、独自のGPUクラウドを持つ新興企業の採用を加速させている。NVIDIAが取る可能性のある戦略の一つは、これらの新規プロバイダーにGPUを優先的に配分することで、超大規模クラウドプロバイダーの交渉力を弱め、市場を分割し、またスタートアップ企業を通じて業界の発展を促進することである。GPUのボトルネックはいつ解消されるのか？それが新たなAIクラウドプロバイダーにどのような影響を与えるのか？主要プラットフォームでのGPU不足が解消されれば、「GPUのみ」をビジネスとする企業にとってはマイナス要因となりそうだが、より多くのツールやサービスを持つ企業は、そのような状況でも比較的容易に移行できるだろう。
AIクラウドサービスでは、他にどのようなサービスが統合されつつあるのか？埋め込み型モデルやRAG（再利用可能な生成エージェント）とのクロスセルは行われているのか？継続的な更新、ファインチューニング、その他のサービスは提供されているのか？これはデータアノテーターまたは類似サービスを提供する他の企業にどのような影響を与えるのか？どのサービスがモデルプロバイダーに直接統合され、どのサービスがクラウドを通じて提供されるのか？
AIクラウド市場では、各社はどのようなビジネスモデルを追求するのか？
AIクラウドの世界には確かに二つの市場セグメントがある：スタートアップと中大企業。「GPUのみ」のビジネスモデルは、クラウドニーズが少ないスタートアップ向けにデフォルトで適用される。一方、大企業は主要プラットフォーム上のGPUクラウドの制約により、より大きな制限を受ける可能性がある。では、開発者ツール、APIエンドポイント、専用ハードウェアなどを提供する企業は、次の二つの類似モデルのいずれかに進化するのか――（a） AI向けの「Snowflake／Databricks」モデル、または（b） AI向けの「Cloudflare」モデル？もしそうなら、どの企業がどちらのモデルを採用しているのか？
新興のAIクラウドの市場規模はどのくらいか？Heroku、Digital Ocean、Snowflake、あるいはAWSほどの規模に達するのか？
非常に長いコンテキストウィンドウを持つモデルの登場により、AI技術スタックはどのように進化するのか？コンテキストウィンドウとプロンプトエンジニアリング、ファインチューニング、RAG、推論コストの間の相互作用をどのように考えるべきか？
規制当局による買収防止政策はこの市場にどのような影響を与えるのか？少なくとも十数社の企業がAIクラウド関連の製品・サービスを構築している。テック業界のM&Aに積極的に反対する政府の下では、起業家は出口戦略をどう考えるべきか？AIクラウド企業間で統合を行うべきなのか？市場規模の拡大と提供サービスの最適化のために？
03.AIアプリケーションに関する問題
ChatGPTは多くのAI起業家の出発点となった。ChatGPT、そしてそれ以前のMidjourneyやStable Diffusionが登場するまで、多くの人々は現在進行中のTransformer／Diffusionモデル革命にあまり注目していなかった。モデルや技術に最も近い人々、つまりAI研究者やインフラエンジニアが、最初にこの技術を基に新会社を立ち上げ始めた。一方で、モデルや技術から離れたエンジニア、デザイナー、プロダクトマネージャーたちは、ようやくAIの重要性に気づき始めている。
ChatGPTは約15ヶ月前にリリースされた。辞職を決断するのに9〜12ヶ月かかり、パートナーと初步的なアイデアをブレインストーミングするのに数ヶ月、実装にさらに数ヶ月かかるとすれば、このタイムラインに基づき、市場にはすぐにAI関連アプリケーションの波が押し寄せるはずだ。
B2Bアプリケーション：新興するB2Bアプリケーションの波の中で、どのような企業と市場が重要になるのか？既存企業が価値を得る分野はどこか？スタートアップが価値を得る分野はどこか？
消費者向け：最初のAI製品は「プロフェッショナルコンシューマー」製品であり、個人用途とビジネス用途の両方で使えるものだった。ChatGPT、Midjourney、Perplexity、Pikaなどがその例である。なぜAIエコシステムにおいて一般消費者向けの製品がこれほど少ないのか？かつて2007〜2012年のソーシャルプロダクト世代は、今のAI製品のユーザーにはなっていないように見える。AI製品の利用と開発には新しい血が必要であり、よりスマートで革新的なユーザーが参入し、次なる偉大なAIコンシューマーウェーブを共に築いていくべきである。
エージェント：AIエージェントは多くのことができるとされる。どの分野が強力な特化製品となるのか？どのスタートアップがユースケースを探しているのか？
以上が、生成AI分野において考えるべき重要な問題の完全なリストである。生成AIの発展は、誰もが経験しているエキサイティングな技術革命の瞬間である。これからさらに期待でき、興味深い創造が続々と生まれることだろう。上記の問題について深く考えることは、起業家が市場のニーズにより適切に応え、この分野の発展を推進する上で役立つはずだ。
TechFlow公式コミュニティへようこそ
Telegram購読グループ：https://t.me/TechFlowDaily
Twitter公式アカウント：https://x.com/TechFlowPost
Twitter英語アカウント：https://x.com/BlockFlow_News
