IOSGリサーチ｜GPU供給危機：新興AI企業の打開策
TechFlow厳選深潮セレクト
IOSGリサーチ｜GPU供給危機：新興AI企業の打開策
DePINモデルはGPUの可用性問題を解決する可能性を持っているが、断片化されたモデルでは状況は改善しない。
Web3業界の深掘り報道に専念し潮流を洞察著者：Mohit Pandit, IOSG Ventures
要約
-
GPUの不足は現実であり、需要と供給がひっ迫しているが、未使用のGPU台数を活用すれば現在の供給不足に応えることができる。
-
クラウドコンピューティングへの参加を促進し、最終的に推論または学習のための計算タスクを調整するインセンティブ層が必要となる。DePINモデルはまさにこの用途に適している。
-
供給側のインセンティブにより、計算コストが低いため、需要側にとって魅力的である。
-
すべてが理想的というわけではない。Web3クラウドを選択する際には「遅延」など特定のトレードオフが生じる。伝統的なGPUクラウドと比較して、保険やサービスレベルアグリーメント（SLA）などの面でも妥協が必要になる。
-
DePINモデルはGPUの可用性問題を解決する可能性を持っているが、断片化されたモデルでは状況は改善しない。需要が指数関数的に増加する場合、断片化された供給は供給がないのと同じである。
-
新規参入者の数を考えると、市場の集約は避けられない。
はじめに
我々は機械学習および人工知能（AI）の新時代のさきがけにいる。AIは長年にわたりさまざまな形で存在してきた（AIとは人間ができる作業を指示されたコンピュータ装置、たとえば洗濯機のこと）が、現在では複雑な認知モデルが登場しており、人間の知的行動を必要とするタスクを遂行できるようになっている。顕著な例としてはOpenAIのGPT-4やDALL-E 2、GoogleのGeminiが挙げられる。
急速に成長するAI分野において、発展の二つの側面――モデルの学習と推論――を認識しなければならない。推論とはAIモデルの機能と出力を指し、学習とは知的モデル構築に必要な複雑なプロセス（機械学習アルゴリズム、データセット、計算能力を含む）を意味する。
GPT-4を例にすると、エンドユーザーが関心を持つのは推論のみ、つまりテキスト入力に対してモデルから出力を得ることである。しかし、この推論の質はモデルの学習に依存している。効果的なAIモデルを学習させるには、開発者は包括的な基礎データセットと膨大な計算能力を確保する必要がある。これらの資源は主にOpenAI、Google、Microsoft、AWSといった業界の大手企業に集中している。
その関係式は単純だ。優れたモデル学習 ＞＞ AIモデルの推論能力向上 ＞＞ より多くのユーザー獲得 ＞＞ 増加した収益によるさらなる学習リソース投入
主要プレイヤーは大規模な基礎データセットにアクセスでき、さらに重要なことに大量の計算能力を支配しており、新規の開発者にとっては参入障壁となっている。そのため、新規参入者は経済的に実現可能な規模・コストで十分なデータを得たり、必要な計算能力を利用したりすることが困難である。このような状況を踏まえると、ネットワークはリソース取得の民主化、特に大規模な計算リソースの取得とコスト削減において大きな価値を持つことがわかる。
GPU供給の問題
NVIDIAのCEOジェンセン・フアンは2019年のCESで「ムーアの法則は終わった」と述べた。今日のGPUは極めて未使用状態にある。ディープラーニング／学習サイクル中であっても、GPUは十分に活用されていない。
以下は異なるワークロードにおける典型的なGPU利用率の数値である：
-
アイドル（Windows OS起動直後）：0-2%
-
一般的な生産タスク（文章作成、簡単なブラウジング）：0-15%
-
動画再生：15 - 35%
-
PCゲーム：25 - 95%
-
グラフィックデザイン／写真編集のアクティブワークロード（Photoshop、Illustrator）：15 - 55%
-
動画編集（アクティブ）：15 - 55%
-
動画編集（レンダリング）：33 - 100%
-
3Dレンダリング（CUDA / OptiX）：33 - 100%（Winタスクマネージャーで誤って報告されることが多い。GPU-Zを使用）
GPU搭載の消費者向けデバイスの大部分は、上記の最初の3カテゴリに属する。
GPUランタイム利用率％。出典: Weights and Biases
上記の状況は、「演算リソースの活用不足」という問題を示している。
消費者向けGPUの容量をよりよく活用する必要があり、GPU利用率がピークに達するときでさえ最適ではない。これにより、今後取り組むべき2つの課題が明確になる：
-
リソース（GPU）の集約
-
学習タスクの並列化
利用可能なハードウェアの種類に関して、現在供給に使われる4種類がある：
・データセンターGPU（例：Nvidia A100s）
・消費者向けGPU（例：Nvidia RTX3060）
・カスタムASIC（例：Coreweave IPU）
・消費者向けSoC（例：Apple M2）
ASICを除き（特定目的のために設計されているため）、他のハードウェアは集約して最も効率的に利用できる。こうしたチップが消費者やデータセンターの手に広く分散していることを考えると、供給側を集約するDePINモデルが現実的な道となる可能性がある。
GPUの生産はボリュームのピラミッド構造であり、消費者向けGPUの生産量が最も多く、NVIDIA A100やH100のような高級GPUの生産量は最も少ない（ただし性能は高い）。こうした高級チップの製造コストは消費者向けGPUの15倍だが、性能が常に15倍あるわけではない。
クラウドコンピューティング市場全体は現在約4830億ドルの価値があり、今後数年間で年率約27%の成長が予想されている。2023年には約130億時間のML計算需要があり、現在の料金基準では2023年のML計算支出は約560億ドルに相当する。この市場全体も急速に成長しており、3ヶ月ごとに2倍のペースで拡大している。
GPU需要
計算需要の主な源はAI開発者（研究者やエンジニア）である。彼らの主な要望は以下の通り：価格（低コストの計算）、規模（多数のGPU計算）、ユーザーエクスペリエンス（容易なアクセスと使いやすさ）。過去2年間、AIアプリケーションに対する需要の増加とMLモデルの進化により、GPU需要は非常に大きくなった。MLモデルの開発と運用には以下が必要となる：
-
大量の計算（複数のGPUまたはデータセンターへのアクセスから）
-
モデルの学習、ファインチューニング（fine tuning）、および推論を実行できる能力。それぞれのタスクは多数のGPU上で並列に実行される。
計算関連ハードウェア支出は、2021年の170億ドルから2025年には2850億ドルへ（年率約102%の成長）増加すると予想されており、ARKは2030年までに1.7兆ドル（年率43%の成長）に達すると見込んでいる。
ARK Research
多数のLLMがイノベーション段階にある中、競争がより多くのパラメータに対する計算需要を押し上げており、再学習も必要になる。このため、今後数年間で高品質な計算に対する継続的な需要が見込まれる。
新たなGPU供給制約の中で、ブロックチェーンの役割とは？
リソースが不十分に使われているとき、DePINモデルが助けとなる：
-
供給側を起動し、大量の供給を創出
-
タスクの調整と完了
-
タスクが正しく完了することを保証
-
作業を完了した提供者に適切に報酬を与える
あらゆるタイプのGPU（消費者用、企業用、高性能など）を集約することは、利用面での問題を引き起こす可能性がある。計算タスクが分割されるとき、A100チップは単純な計算を行うべきではない。GPUネットワークは市場参入戦略に応じて、ネットワークに含めるGPUのタイプを決定する必要がある。
計算リソース自体が分散している（時には世界的に）場合、ユーザーまたはプロトコル自身がどのタイプの計算フレームワークを使用するかを決定する必要がある。io.netのようなプロバイダーは、ユーザーが3つの計算フレームワーク（Ray、Mega-Ray、またはKubernetesクラスターをコンテナー内で展開）から選べるようにしている。他にもApache Sparkのような分散計算フレームワークがあるが、Rayが最も一般的に使われている。選ばれたGPUが計算タスクを完了すると、出力が再構成され、訓練済みモデルが得られる。
うまく設計されたトークンモデルはGPU提供者の計算コストを補助し、多くの開発者（需要側）にとってそのようなスキームはより魅力的に映るだろう。分散型計算システムは本質的に遅延を伴う。計算の分割と出力の再構成が発生するため、開発者はモデル学習のコスト効率と所要時間の間にトレードオフを余儀なくされる。
分散型計算システムは独自のチェーンを持つ必要があるのか？
ネットワークには2つの運営方法がある：
-
タスク単位（または計算サイクル）または時間単位で課金
-
時間単位で課金
最初の方式では、Gensynが試みているような作業証明（PoW）チェーンを構築できる。異なるGPUが「作業」を分担し、それに応じて報酬を得る。より信頼性のないモデルを実現するために、検証者や告発者という概念があり、システムの整合性を維持することで報酬を得る。これは解算者が生成する証明に基づく。
別の作業証明システムはExabitsであり、タスク分割ではなく、GPUネットワーク全体を1つのスーパーコンピューターとして扱う。このモデルは大規模LLMに適しているように思われる。
Akash NetworkはGPUサポートを追加し、この分野にGPUを集約し始めた。彼らは、GPU提供者が行った作業の状態について合意を得るための基盤L1、マーケットプレイス層、およびKubernetesやDocker Swarmなどのコンテナオーケストレーションシステムを備え、ユーザーのアプリケーションの展開とスケーリングを管理している。
システムが信頼不要であるためには、作業証明チェーンモデルが最も効果的である。これにより、プロトコルの調整と整合性が保証される。
一方、io.netのようなシステムは自らをチェーンとして構築していない。彼らはGPU可用性という核心問題を解決し、時間単位（毎時）で顧客に課金することを選んだ。検証可能レイヤーを必要としないのは、特定のレンタル期間中に自由に使用できるGPUを「貸し出す」からである。プロトコル自体はタスク分割を行わず、代わりに開発者がRay、Mega-Ray、Kubernetesなどのオープンソースフレームワークを使用して処理する。
Web2 vs Web3 GPUクラウド
GPUクラウドまたはGPU as a Service（GPUaaS）分野には、Web2に多数の参加者がいる。この分野の主要プレイヤーには、AWS、CoreWeave、PaperSpace、Jarvis Labs、Lambda Labs、Google Cloud、Microsoft Azure、OVH Cloudが含まれる。
これは従来のクラウドビジネスモデルであり、計算が必要なときに顧客は時間単位（通常1時間）でGPU（または複数のGPU）をレンタルできる。さまざまなユースケースに応じた多数の異なるソリューションがある。
Web2とWeb3 GPUクラウドの主な違いは以下のパラメータにある：
1. クラウド構築コスト
トークンインセンティブにより、GPUクラウドの構築コストは大幅に低下する。OpenAIは計算チップの生産に1兆ドルを調達しようとしている。トークンインセンティブなしでは、市場のリーダーに勝つには少なくとも1兆ドルが必要となるようだ。
2. 計算時間
非Web3 GPUクラウドの方が速い。レンタルされたGPUクラスターは地理的に近接した領域に位置しているためである。一方、Web3モデルはより広範に分散したシステムを持つ可能性があり、遅延は非効率なタスク分割、負荷分散、そして何よりも帯域幅から生じる。
3. 計算コスト
トークンインセンティブにより、Web3の計算コストは既存のWeb2モデルに比べて大幅に低くなる。
計算コスト比較：
より多くの供給とクラスター活用が進むにつれ、これらの数字は変化する可能性がある。GensynはA100（および同等品）を1時間あたり0.55ドルという低価格で提供すると主張しており、Exabitsも同様のコスト削減を約束している。
4. コンプライアンス
無許可システムではコンプライアンスは容易ではない。しかし、io.netやGensynなどのWeb3システムは自らを無許可システムとして位置づけていない。GPUのオンボーディング、データ読み込み、データ共有、結果共有の各段階でGDPRやHIPAAなどのコンプライアンスを処理している。
エコシステム
Gensyn、io.net、Exabits、Akash
リスク
1. 需要リスク
トップLLMプレイヤーは、今後もGPUを蓄積し続けるか、あるいはNVIDIAのSeleneスーパーコンピューターのようなGPUクラスターを使用するだろう。後者のピーク性能は2.8エクサFLOP/sである。彼らは消費者やロングテールのクラウドプロバイダーが集めたGPUに依存することはない。現在、トップAI組織はコストよりも品質を競っている。
重厚ではないMLモデルについては、より安価な計算リソースを求めることになる。ブロックチェーンベースのトークンインセンティブ付きGPUクラスターは、既存GPUの最適化を進めながらサービスを提供できる（前提：それらの組織がLLMを利用するよりも自社でモデルを学習することを好む場合）。
2. 供給リスク
大量の資本がASIC研究に投じられ、テンソル処理ユニット（TPU）のような発明が生まれるにつれ、このGPU供給問題は自然に解消されるかもしれない。もしASICが良好な性能対コスト比を提供できるなら、大手AI組織が蓄えた既存GPUが再び市場に戻ってくる可能性がある。
ブロックチェーンベースのGPUクラスターは長期的な問題を解決しているのか？ ブロックチェーンはGPU以外のチップもサポートできるが、需要側の行動がこの分野のプロジェクトの方向性を完全に決定する。
結論
小規模GPUクラスターの断片化されたネットワークでは問題は解決しない。「ロングテール」GPUクラスターの存在意義はない。GPUプロバイダー（小売または中小クラウド事業者）は、インセンティブがより良い大規模ネットワークに傾く。それは優れたトークンモデルの機能であり、供給側が複数の計算タイプをサポートする能力でもある。
GPUクラスターはCDNのように類似の集約の運命を見るだろう。大手プレイヤーがAWSなどの既存リーダーと競争する場合、ネットワーク遅延を減らし、ノードの地理的近接性を高めるために、リソースを共有し始めるかもしれない。
需要側がさらに大きくなり（学習が必要なモデルが増え、パラメータ数も増える）、Web3プレイヤーは供給側のビジネス開発において非常に積極的でなければならない。同じ顧客層を狙うクラスターが多すぎれば、供給が断片化し（この概念自体が無効化され）、需要（TFLOPs単位）は指数関数的に増加する。
io.netはすでに多数の競合の中から脱却し、アグリゲーターモデルとしてスタートしている。Render NetworkやFilecoinマイナーのGPUを統合して容量を提供すると同時に、自らのプラットフォームでも供給を誘導している。これがDePIN GPUクラスターの勝者となる方向性かもしれない。
TechFlow公式コミュニティへようこそ
Telegram購読グループ：https://t.me/TechFlowDaily
Twitter公式アカウント：https://x.com/TechFlowPost
Twitter英語アカウント：https://x.com/BlockFlow_News
IOSG Ventures
