深層リサーチ：暗号通貨によるインセンティブでAIモデルをクラウドファンディングする、可能なのか？
TechFlow厳選深潮セレクト
深層リサーチ：暗号通貨によるインセンティブでAIモデルをクラウドファンディングする、可能なのか？
本レポートでは、大規模モデルの訓練の現状と関連コストについて考察する。
Web3業界の深掘り報道に専念し潮流を洞察著者：Jeff Amico
翻訳：TechFlow
はじめに
新型コロナウイルス感染症のパンデミック中、Folding@home は重要なマイルストーンを達成した。この研究プロジェクトは、世界中の200万台のボランティアによるデバイスから提供された 2.4エクサFLOPS の計算能力を獲得した。これは当時世界最大のスーパーコンピュータよりも15倍もの処理能力に相当し、科学者が大規模にCOVID-19のタンパク質動態をシミュレーションすることを可能にした。彼らの成果は、特にパンデミック初期段階において、ウイルスおよびその病原メカニズムに対する理解を大きく前進させた。
Folding@homeユーザーの世界的分布（2021年）
Folding@homeは、ボランティアによるコンピューティングという長い歴史に基づくプロジェクトであり、大規模な問題を解決するために計算リソースをクラウドソーシングする。このアイデアは1990年代のSETI@homeで広く注目を集めた。同プロジェクトでは、地球外生命体を探すために500万台以上のボランティアコンピュータが集められた。以来、この概念は天体物理学、分子生物学、数学、暗号学、ゲームなど、さまざまな分野に応用されてきた。いずれの場合も、集団的な力によって個々のプロジェクトの能力が飛躍的に向上し、単独では実現不可能な範囲を超えることが可能になった。これにより、研究はよりオープンかつ協働的な形で進められるようになった。
多くの人々は、このクラウドソーシングモデルを深層学習にも適用できるかどうか疑問に思っている。つまり、一般の人々の中での大型ニューラルネットワークの訓練は可能だろうか？ 最先端モデルの訓練は、人類史上最も計算量の多い作業の一つである。他の多くの＠homeプロジェクトと同様に、現在のコストは、参加可能な主体を最大手の組織に限定してしまうほど高い。これにより、新たなブレークスルーの発見はますます少数の企業に依存するようになり、将来的な進展が妨げられる可能性がある。また、AIシステムの支配権も少数の者に集中する。技術に対する立場に関わらず、これは懸念すべき未来である。
多くの批判者は、分散化された訓練の考えを退け、現在の訓練技術との不適合を理由に挙げる。しかし、こうした見方は次第に古くなっている。 新しい技術が登場しており、ノード間の通信要件を減らすことで、ネット接続の劣るデバイス上でも効率的な訓練が可能になっている。このような技術には、DiLoCo、SWARM Parallelism、lo-fi、異種環境における基礎モデルの分散訓練などが含まれる。これら多くの技術はフォールトトレラント性を持ち、異種計算をサポートしている。また、DiPaCoや分散型混合専門家モデルといった、分散ネットワーク向けに特別に設計された新しいアーキテクチャもある。
さらに、さまざまな暗号的プリミティブが成熟し始め、グローバルなリソース調整を可能にするネットワークが登場している。これらの技術は、暗号通貨、国境を越えた支払い、予測市場などのアプリケーションを支えている。初期のボランティアプロジェクトとは異なり、これらのネットワークは驚異的な計算能力を結集でき、しばしば想定される最大規模のクラウド訓練クラスタよりも桁違いに大きい。
これらの要素が組み合わさることで、新たなモデル訓練のパラダイムが生まれつつある。 このパラダイムでは、接続さえすれば利用可能な大量のエッジデバイスを含む、世界的な計算資源が活用される。これにより、新たな競争メカニズムが導入され、ほとんどの訓練ワークロードのコストが低下する。また、モデル開発を協働的かつモジュール化されたものへと変え、孤立的・単一的な方式から脱却できる。モデルは大衆から計算資源とデータを得て、リアルタイムで学習することができる。個人は自分が生み出したモデルの一部を所有することも可能になる。研究者は、高額な計算予算を回収するために発見を独占する必要もなくなり、再び新奇な研究成果を公開して共有できる。
本レポートは、大規模モデル訓練の現状と関連コストを調査する。SETIからFolding、BOINCに至るまでの過去の分散計算の取り組みからインスピレーションを得て、代替的な道を探る。分散訓練の歴史的課題を振り返り、それらを克服するための最新の進展について考察する。最後に、今後の機会と課題をまとめている。
最先端モデル訓練の現状
最先端モデルの訓練コストは、大手以外の主体にとってはすでに耐え難い水準に達している。この傾向は新しいものではないが、実情によれば、拡張仮説を常に押し広げようとする最先端ラボの活動により、状況は悪化している。報じられているように、OpenAIは今年だけで訓練に30億ドル以上を費やしている。Anthropicは予測するところによると、2025年には100億ドル規模の訓練が始まり、1000億ドル規模のモデルも遠くない将来に登場するとされている。
この傾向は産業の集中化を招き、参加費用を負担できるのはごく少数の企業だけになる。これは「すべての主要なAIシステムが一、二社の企業によって支配されることを我々は受け入れるべきか？」という核心的な政策課題を提起している。また、小さなラボは拡張実験に必要な計算リソースを調達できないため、進展の速度も制限されている。これは研究コミュニティ内で明らかになっており、業界のリーダーたちも繰り返し指摘している：
MetaのJoe Spisak：[モデル]アーキテクチャの能力を真に理解するには、規模での探索が必要です。これが現在のエコシステムに欠けている点だと思います。学術界を見てください。優れた人材は多くいますが、計算リソースへのアクセスがなく、それが問題になります。素晴らしいアイデアを持っていても、それを必要なレベルで実現する手段がないのです。
TogetherのMax Ryabinin：高価なハードウェアの必要性は研究コミュニティに大きなプレッシャーをかけている。ほとんどの研究者は大規模ニューラルネットワークの開発に参加できない。なぜなら、必要な実験を行うにはコストが高すぎるからだ。モデルの規模を拡大し続ける限り、最終的には競争できるのはほんの一握りの企業だけになるだろう。
GoogleのFrancois Chollet：我々は大規模言語モデル（LLM）が汎用人工知能（AGI）を達成していないことを知っている。同時に、AGIに向けた進展は停滞している。私たちがLLMで直面している限界は、5年前とまったく同じだ。新しいアイデアとブレークスルーが必要だ。次のブレークスルーは、外部のチームから生まれる可能性が高いと思う。なぜなら、大手ラボはより大きなLLMの訓練に忙殺されているからだ。
一部の人々はこうした懸念に対して懐疑的であり、ハードウェアの改善やクラウドの資本支出が問題を解決すると主張する。しかし、これは現実的とは言い難い。一方で、この十年の終わりまでには、Nvidiaの次世代チップのFLOP数が大幅に増加し、今日のH100の10倍に達する可能性がある。これにより、FLOPあたりの価格は80〜90％低下する。同様に、この十年の終わりまでには、総FLOP供給量は約20倍に増加し、ネットワークや関連インフラも改善されると予想されている。これらすべてが、1ドルあたりの訓練効率を向上させるだろう。
出典：SemiAnalysis AI Cloud TCO モデル
一方で、ラボがさらにスケールアップしようとするため、総FLOP需要も大幅に増加する。過去10年にわたる訓練計算の傾向が維持されれば、2030年までに最先端の訓練FLOPsは約2e29に達すると予想される。この規模の訓練を行うには、現在の訓練実行時間と利用率を基準とすれば、H100相当のGPUが約2000万台必要となる。複数の最先端ラボが存在する前提では、全体のFLOP需要はさらに数倍となり、供給はそれらの間で分配される。EpochAIは、その時点でH100相当のGPUが約1億台必要になると予測しており、これは2024年の出荷量の約50倍に相当する。SemiAnalysisも同様の予測をしており、最先端の訓練需要とGPU供給がこの期間中にほぼ同期して成長すると見ている。
製造のボトルネックが予定された出荷サイクルを遅らせたり、よくあることだが、データセンターを稼働させるのに十分なエネルギーを生産できなかったり、送電網への接続に困難が生じたり、資本支出に対する監査が厳しくなり業界が縮小するなどの要因により、生産体制はさらに逼迫する可能性がある。最善のシナリオでも、現在の方法では少数の企業しか研究の進展を推進できない状況が続くが、それでは不十分かもしれない。
明らかに、私たちは新たなアプローチを必要としている。それは、次のブレークスルーを見つけるためにデータセンターや資本支出、エネルギー消費を不断に拡大するのではなく、既存のインフラを効率的に活用し、需要の変動に柔軟に対応できる方法である。これにより、訓練実行が巨額の計算予算の投資対劵益率を確保する必要がなくなるため、研究における実験の余地が広がる。この制約から解放されれば、多くの人が必要だと考えるAGIの実現に向けて、現在の大規模言語モデル（LLM）の枠を超えることも可能になる。このような代替案がどのような姿を持つのかを理解するためには、過去の分散計算の実践から学ぶことができる。
群れ計算：簡単な歴史
SETI@home は1999年にこの概念を普及させ、何百万人もの参加者が無線信号を分析して地球外知性生命を探した。SETIはアレシボ望遠鏡から電磁波データを収集し、それをいくつかのバッチに分割してインターネット経由でユーザーに送信した。ユーザーは日常の活動の中でデータを解析し、結果をサーバーに送り返した。ユーザー間のコミュニケーションは不要で、バッチは独立して処理できるため、極めて高い並列処理が可能だった。最盛期には500万人以上の参加者を擁し、その処理能力は当時の最大級のスーパーコンピュータを上回った。2020年3月に終了したが、その成功はその後のボランティア計算運動に大きな影響を与えた。
Folding@home は2000年にこの理念を継承し、アルツハイマー病、がん、パーキンソン病などの疾患におけるタンパク質折り畳みをエッジコンピューティングでシミュレーションした。ボランティアは個人のPCの空き時間を使ってタンパク質の模擬を行い、タンパク質がどのように誤って折り畳まれて病気を引き起こすかを研究者に支援した。歴史を通じて、その計算能力は当時の最大級のスーパーコンピュータを上回り、2000年代後半とCOVID期間中には、最初に1エクサFLOPSを超えた分散計算プロジェクトとなった。設立以来、Foldingの研究者たちは200編以上の査読付き論文を発表しており、すべてボランティアの計算能力に依存している。
バークレー開放型ネットワーキングインフラストラクチャ（BOINC）は2002年にこの理念を普及させ、さまざまな研究プロジェクトに使えるクラウドソーシング計算プラットフォームを提供した。SETI@homeやFolding@homeだけでなく、天体物理学、分子生物学、数学、暗号学などの分野の新プロジェクトもサポートした。2024年までに、BOINCは進行中の30のプロジェクトと、近1,000編の科学論文を掲載しており、すべてその計算ネットワークを利用して成果を上げている。
科学研究の領域を超えて、ボランティア計算は囲碁（LeelaZero、KataGo）やチェス（Stockfish、LeelaChessZero）などのゲームエンジンの訓練にも使われた。LeelaZeroは2017年から2021年にかけてボランティア計算で訓練され、自らと1千万局以上対戦することで、現代最強の囲碁エンジンの一つを生み出した。同様に、Stockfishは2013年からボランティアネットワーク上で継続的に訓練されており、最も人気があり、強力なチェスエンジンの一つとなっている。
深層学習における課題
しかし、このモデルを深層学習に適用できるだろうか？世界中のエッジデバイスをネットワークに接続し、低コストの公共訓練クラスタを作ることは可能だろうか？AppleのノートパソコンからNvidiaのゲーミングGPUまで、消費者向けハードウェアは深層学習性能がますます高まっている。多くの場合、これらのデバイスはデータセンター用GPUよりもドルあたりの性能が優れている。
しかし、これらのリソースを分散環境で有効に活用するには、さまざまな課題を克服する必要がある。
第一に、現在の分散訓練技術はノード間の頻繁な通信を前提としている。
最先端のモデルはすでに非常に巨大化しており、訓練を数千のGPUに分割する必要がある。これは並列化技術によって実現されており、通常は利用可能なGPUの間でモデル、データセット、または両方を分割する。これには高帯域幅かつ低遅延のネットワークが必要で、そうでなければノードはデータ到着を待ってアイドル状態になる。
例えば、分散データ並列処理（DDP）はデータセットを各GPUに割り当て、各GPUが特定のデータ断片上で完全なモデルを訓練し、勾配更新を共有して各ステップの新しいモデル重みを生成する。これは比較的少ない通信オーバーヘッドで済む。なぜなら、ノードは各バックプロパゲーション後に勾配更新を共有するだけでよく、集団通信操作を計算と部分的に重ね合わせることができるからだ。しかし、この方法は小さいモデルにしか適用できない。なぜなら、各GPUがモデル重み、活性化値、最適化器状態のすべてをメモリ内に保持する必要があるためだ。たとえば、GPT-4は訓練時に10TB以上のメモリを必要としたが、単一のH100は80GBしかない。
この問題を解決するために、モデルを分割してGPU間で分配するさまざまな技術も使われる。例えば、テンソル並列処理（tensor parallelism）は、単一の層内で個々の重みを分割し、各GPUが必要な演算を実行して出力を他のGPUに渡す。これにより各GPUのメモリ要求は低下するが、継続的な通信が必要となるため、効率を高めるには高帯域幅・低遅延の接続が不可欠だ。
パイプライン並列処理（pipeline parallelism）は、モデルの層を各GPUに割り当て、各GPUが自分の仕事を実行し、パイプライン内の次のGPUと更新を共有する。テンソル並列よりも通信量は少ないが、「バブル」（アイドル時間）が発生する可能性があり、後段のGPUが前段のGPUからの情報を待って作業を開始する。
これらの課題に対処するために、さまざまな技術が発展してきた。例えば、ZeRO（ゼロ冗長最適化器）は、通信オーバーヘッドを増やす代わりにメモリ使用量を削減するメモリ最適化技術であり、特定のデバイス上でより大きなモデルを訓練可能にする。ZeROは、モデルパラメータ、勾配、最適化器状態をGPU間で分割することでメモリ要求を下げているが、分割されたデータを取得するために大量の通信に依存している。これは完全シャーディングデータ並列処理（FSDP）やDeepSpeedのような人気技術の基盤となっている。
これらの技術は通常、リソース利用効率を最大化するために大規模モデル訓練で組み合わせて使用され、これを3D並列と呼ぶ。このような構成では、テンソル並列処理が単一サーバー内で重みを各GPUに分配するために使われ、分割された層間で大量の通信が必要だからだ。次に、パイプライン並列処理が異なるサーバー間（ただしデータセンター内の同じ「島」内）で層を分配するために使われる。通信量が少ないからだ。その後、データ並列処理またはFSDPが異なるサーバー島間でデータセットを分割するために使われる。非同期で更新を共有したり、勾配を圧縮したりすることで、より長いネットワーク遅延に適応できるからだ。Metaはこの組み合わせ手法を用いてLlama 3.1を訓練しており、以下の図に示されている。
これらの方法は、（より遅く、変動の大きい）消費者向けインターネット接続によって接続されたデバイスに依存する分散訓練ネットワークに、根本的な課題を突きつけている。このような環境では、通信コストがエッジ計算の利点をすぐに上回ってしまう。シンプルな例として、半精度で10億パラメータを持つモデルを分散データ並列処理で訓練する場合、各GPUは各最適化ステップで2GBのデータを共有する必要がある。典型的なインターネット帯域幅（例：1ギガビット/秒）を想定し、計算と通信が重ならない場合、勾配更新の転送には少なくとも16秒かかり、大きなアイドル時間が生じる。テンソル並列処理のようにより多くの通信を必要とする技術は、当然ながらさらに悪い結果になる。
第二に、現在の訓練技術はフォールトトレランスを欠いている。他の分散システムと同様に、規模が大きくなるほど訓練クラスタは故障しやすくなる。しかし、この問題は訓練において特に深刻だ。なぜなら、現在の技術は主に同期式であり、GPUが協調してモデル訓練を完了しなければならないからだ。数千のGPUのうち1つが故障しても、訓練全体が停止し、他のGPUが最初からやり直す必要がある。場合によってはGPUが完全に故障せず、何らかの理由で動作が遅くなるだけであり、それでも数千の他のGPUの速度を落とす。今日のクラスタの規模を考えると、これは数千万から数億ドルの追加コストを意味する可能性がある。
MetaはLlamaの訓練過程で詳細にこの問題を説明しており、400回以上の予期せぬ中断を経験し、平均して1日8回の割合であった。これらの中断は主にGPUやホストハードウェアの故障などのハードウェア問題に起因している。これにより、GPUの利用率は38〜43％にとどまった。OpenAIはGPT-4の訓練でさらに悪い結果を示しており、32〜36％にとどまったのも、訓練中の頻繁な障害が原因だった。
言い換えれば、最先端ラボは均質で最先端のハードウェア、ネットワーク、電源、冷却システムを備えた完全に最適化された環境で訓練を行っていても、40％の利用率に達するのが難しい。これは主にハードウェア故障やネットワーク問題によるものであり、エッジ訓練環境では、処理能力、帯域幅、遅延、信頼性が不均一なため、この問題はさらに深刻になる。さらに、分散ネットワークは悪意のある行為者に対して脆弱であり、彼らはさまざまな理由でプロジェクト全体を妨害したり、特定のワークロードで不正行為を行ったりする可能性がある。純粋なボランティアネットワークであるSETI@homeでさえ、参加者間での不正行為が報告されていた。
第三に、最先端モデルの訓練には大規模な計算能力が必要だ。SETIやFoldingのようなプロジェクトは印象的な規模に達したが、現代の最先端訓練に必要な計算能力と比べると、はるかに小さい。GPT-4は20,000台のA100からなるクラスタで訓練され、半精度でのピークトゥルークは6.28エクサFLOPSであった。これはFolding@homeのピーク時の計算能力の3倍以上である。Llama 405bは16,000台のH100で訓練され、ピークトゥルークは15.8エクサFLOPSで、Foldingのピークの7倍である。複数のラボが10万以上のH100からなるクラスタを構築する計画を立てており、各クラスタの計算能力は驚異的な99エクサFLOPSに達するため、この差はさらに広がっていく。
これは理にかなっている。なぜなら、@homeプロジェクトはボランティア駆動だからだ。貢献者は自分のメモリとプロセッサー時間を寄付し、関連コストを負担している。これは商業プロジェクトと比べて自然に規模が制限される。
最近の進展
これらの問題は歴史的に分散訓練の取り組みを妨げてきたが、もはや乗り越えられない障壁ではないようだ。ノード間の通信要件を減らし、インターネット接続されたデバイス上で効率的な訓練を可能にする新しい技術が登場している。これらの技術の多くは、大規模ラボがモデル訓練のさらなる拡大を目指して開発したもので、データセンター間の効率的な通信技術が必要とされた。また、フォールトトレラントな訓練手法や暗号によるインセンティブシステムの進展もあり、エッジ環境でのより大規模な訓練を支えることが可能になっている。
効率的な通信技術
DiLoCoはGoogleの最近の研究で、デバイス間で更新されたモデル状態を伝達する前にローカル最適化を行うことで、通信オーバーヘッドを削減している。彼らの手法（以前のフェデレーテッドラーニング研究に基づく）は、従来の同期訓練と同等の効果を示しながら、ノード間の通信量を500倍削減している。その後、この手法は他の研究者によって再現され、10億以上のパラメータを持つより大きなモデルの訓練に拡張された。また、非同期訓練にも拡張され、ノードがすべての更新を一度に共有するのではなく、異なるタイミングで勾配更新を共有できるようになった。これにより、処理能力やネットワーク速度が異なるエッジハードウェアにうまく適応できる。
他のデータ並列手法、lo-fiやDisTrOは、さらに通信コストを削減することを目指している。lo-fiは完全にローカルなファインチューニングを提案しており、ノードが独立して訓練し、最後にのみ重みを伝達する。この方法は、10億以上のパラメータを持つ言語モデルのファインチューニングにおいてベンチマークと同等の性能を発揮しつつ、通信オーバーヘッドを完全に排除する。初期報告では、DisTrOは新型の分散最適化器を採用しており、通信要件を4〜5桁削減できると主張しているが、この手法はまだ検証待ちである。
より大きなスケールを可能にする新しいモデル並列手法も登場している。DiPaCo（これもGoogleのもの）はモデルを複数のモジュールに分割し、それぞれが異なる専門モジュールを含んで特定のタスクの訓練を容易にする。その後、訓練データは「パス」と呼ばれる断片に分けられ、各データサンプルに対応する専門家の系列となる。「パス」が与えられれば、各ワーカーは共有モジュールに必要な通信を除いて、特定のパスをほぼ独立して訓練できる。このアーキテクチャは、十億パラメータモデルの訓練時間を半分以上短縮した。
SWARM並列性と異種環境における基礎モデルの分散訓練（DTFMHE）も、異種環境での大規模モデル訓練を可能にするモデル並列手法を提案している。SWARMは、モデル規模が大きくなるにつれてパイプライン並列の通信制約が減少し、低いネットワーク帯域幅と高い遅延でも大規模モデルの効率的な訓練が可能になることを発見した。この理念を異種環境に適用するため、ノード間で一時的な「パイプライン接続」を使用し、各イテレーションでリアルタイムに更新できるようにしている。これにより、ノードは出力を次のパイプライン段階の任意のピアノードに送信できる。つまり、あるピアノードが他のノードより速かったり、参加者が切断されたりしても、出力は動的に再ルーティングされ、各段階に少なくとも1つのアクティブな参加者がいれば訓練が継続する。彼らはこの方法を用いて、低コストの異種GPU上で10億以上のパラメータを持つモデルを訓練し、相互接続速度が遅い環境でも成功した（下図参照）。
DTFMHEも同様に、新しいスケジューリングアルゴリズムとパイプライン並列、データ並列を提案し、3大陸にわたるデバイス上で大規模モデルを訓練した。彼らのネットワーク速度が標準のDeepspeedよりも100倍遅くても、彼らの方法はデータセンターで標準Deepspeedを使うよりも1.7〜3.5倍遅いだけだった。SWARMと同様に、DTFMHEはモデル規模が大きくなるにつれて通信コストを効果的に隠蔽できることを示しており、地理的に分散したネットワークでも同様に適用可能である。これにより、隠れ層のサイズを増やす、各パイプライン段階にさらに多くの層を追加するなどの技術で、ノード間の弱い接続を克服できる。
フォールトトレランス
前述の多くのデータ並列手法は、各ノードがモデル全体をメモリ内に保持しているため、デフォルトでフォールトトレラントである。この冗長性により、他のノードが故障してもノードが独立して作業を続けられることが多い。これは、ノードが信頼性が低く、異種であり、悪意を持つ可能性がある分散訓練にとって重要である。しかし前述の通り、純粋なデータ並列手法は小さいモデルにしか適用できず、ネットワーク中で最小のノードのメモリ容量にモデルサイズが制限される。
この問題を解決するため、モデル並列（またはハイブリッド並列）訓練に適用可能なフォールトトレランス技術が提案されている。SWARMは、遅延が低い安定したピアノードを優先し、故障時にはパイプライン段階のタスクを再ルーティングすることで対処している。他の手法、Oobleckも同様のアプローチを取り、部分的なノード故障に対応するための冗長性を提供する複数の「パイプラインテンプレート」を作成している。データセンターでテストされたOobleckの手法は、分散環境にも適用可能な強固な信頼性保証を提供している。
また、分散環境でのフォールトトレラント訓練を支援する新しいモデルアーキテクチャ（分散型混合専門家モデル（DMoE）など）も登場している。従来の混合専門家モデルと同様に、DMoEは一連のワーカーノードに分散された複数の独立した「専門家」ネットワークから構成される。DMoEは分散ハッシュテーブルを用いて、非同期更新を分散的に追跡・統合する。この機構（SWARMでも使用）はノード故障に対して高い耐性を持つ。なぜなら、一部のノードが故障したり応答が遅れたりしても、特定の専門家を平均計算から除外できるからだ。
スケーリング
最後に、BitcoinやEthereumで採用されている暗号インセンティブシステムは、必要なスケールを実現するのに役立つ。これらのネットワークは、採用の増加とともに価値が上昇するネイティブ資産を貢献者に支払うことで、計算をクラウドソーシングしている。この設計は、ネットワークが最小実行可能規模に達した後、報酬を徐々に削減することで、初期貢献者に豊富な報酬を与えるインセンティブを創出する。
確かに、この仕組みには回避すべきさまざまな落とし穴がある。最も大きな落とし穴は、需要に見合わない供給の過剰インセンティブ化である。また、基盤ネットワークが十分に分散化されていない場合、規制上の問題が生じる可能性がある。しかし、適切に設計されれば、分散型インセンティブシステムは長期にわたり顕著なスケールを実現できる。
たとえば、Bitcoinの年間電力消費量は約150テラワット時（TWh）であり、これは現在構想されている最大AI訓練クラスタの電力消費（10万個のH100を1年間フル稼働）よりも2桁多い。参考までに、OpenAIのGPT-4は2万個のA100で訓練され、Metaの旗艦Llama 405Bモデルは1万6千個のH100で訓練された。同様に、Ethereumのピーク時の電力消費は約70TWhで、数百万のGPUに分散していた。AIデータセンターの急激な成長が将来にわたって予想されるとはいえ、このようなインセンティブ計算ネットワークは依然としてその規模を何度も上回る。
もちろん、すべての計算が交換可能というわけではない。訓練はマイニングと比べて独自の要件を持っている。それでも、これらのネットワークは、このような仕組みによって達成可能な規模を示している。
今後の道筋
これらを組み合わせることで、新たな道の始まりが見えてくる。
まもなく、新しい訓練技術により、デバイスが物理的に共存しなくても機能できるようになるため、データセンターの制約を超えられるようになる。これは時間がかかる。なぜなら、現在の分散訓練手法はまだ小規模であり、主に10億〜20億パラメータの範囲にとどまり、GPT-4のようなモデルと比べてはるかに小さいからだ。通信効率やフォールトトレランスといった重要な特性を犠牲にすることなく、これらの手法のスケールをさらに引き上げるためのさらなるブレークスルーが必要である。あるいは、今日の巨大なモノリシックモデルとは異なる、おそらくより小さく、モジュール化された、エッジデバイス上でクラウドではなく動作するような新しいモデルアーキテクチャが必要かもしれない。
いずれにせよ、この方向へのさらなる進展が予想される。現在の方法のコストは持続不可能であり、これが革新への強い市場動機を生んでいる。すでにこの傾向は見え始めている。例えば、Appleのようなメーカーは、より多くのワークロードをクラウドに頼らずローカルで実行できるよう、より強力なエッジデバイスを構築している。また、Metaのような企業内でも、より分散化された研究開発を促進するために、オープンソースソリューションへの支持が高まっている。こうした傾向は今後さらに加速していくだろう。
一方で、エッジデバイスを接続してこのような使い方ができるようにするための、新たなネットワークインフラも必要になる。これにはノートパソコン、ゲーミングデスクトップ、最終的には高性能GPUと大容量メモリを搭載したスマートフォンも含まれる。これにより、「グローバルクラスタ」を構築し、低コストで常時オンラインの計算能力を並列処理で訓練タスクに利用できるようになる。これもまた挑戦的な課題であり、複数の分野での進展が必要だ。
異種環境での訓練に適した、より良いスケジューリング技術も必要だ。現在、デバイスがいつでも切断・接続できる状況下で、モデルを自動的に最適化して並列化する方法はない。これは、エッジネットワークの規模メリットを維持しつつ、訓練を最適化するための次の重要なステップである。
また、分散ネットワークの一般的な複雑性にも対処しなければならない。規模を最大化するためには、ネットワークはオープンプロトコルとして構築されるべきである。これはTCP/IPのように、参加者間のやり取りを規定する一連の標準と命令であり、特定の仕様に従うあらゆるデバイスが所有者や位置に関係なくネットワークに接続できるようにする。これにより、ネットワークの中立性が保たれ、ユーザーが好きなモデルを訓練できるようになる。
これは規模の最大化を実現するが、単一の実体に依存せずに、すべての訓練タスクの正当性を検証する仕組みも必要になる。これは極めて重要だ。なぜなら、報酬を得るために訓練タスクを完了したと偽るという、不正行為の誘因が内在しているからだ。異なるデバイスが通常、機械学習操作を異なる方法で実行するため、標準的な複製技術を使った正当性検証が困難になる。これを正しく解決するには、暗号学などを含む深い研究が必要である。
幸運にも、これらのすべての分野で進展が続いています。 過去数年と比べて、これらの課題はもはや不可避とは言えなくなってきた。機会に比べれば、むしろ些細なものに見える。GoogleはDiPaCo論文で、分散訓練が打破できる負のフィードバックメカニズムを次のように要約している：
機械学習モデルの分散訓練の進展は、インフラの簡素化を促進し、最終的には計算資源のより広範な可用性につながる可能性がある。現在、インフラは巨大なモノリシックモデルを訓練する標準的手法を中心に設計されており、同時に機械学習モデルのアーキテクチャも、現在のインフラと訓練手法を活用することを目指している。このフィードバックループは、コミュニティを誤った局所最適に閉じ込めてしまう可能性がある。つまり、計算資源の制約が実際以上に大きくなってしまうのだ。
最も興奮するのは、研究コミュニティがこれらの問題を解決する熱意が高まっていることだ。Gensynのチームは、上述のネットワークインフラを構築している。 Hivemind や BigScience のようなチームが、これらの技術を実際に応用している。 Petals、sahajBERT、Bloom などのプロジェクトは、これらの技術の能力と、コミュニティベースの機械学習への関心の高まりを示している。他にも多くの人々が研究を推進し、よりオープンで協働的なモデル訓練エコシステムの構築を目指している。もしこの仕事に興味があれば、ぜひ参加してください。
TechFlow公式コミュニティへようこそ
Telegram購読グループ：https://t.me/TechFlowDaily
Twitter公式アカウント：https://x.com/TechFlowPost
Twitter英語アカウント：https://x.com/BlockFlow_News
@gensynai
