Flower AIとVanaは、データセンターを必要としない先進のAIモデルを構築しています
TechFlow厳選深潮セレクト
Flower AIとVanaは、データセンターを必要としない先進のAIモデルを構築しています
インターネットを通じて大規模言語モデル（LLMs）を開発する新たなクラウドソーシング方式のトレーニングが、今年後半には1000億パラメータの巨大なモデルによってAI業界に衝撃を与える可能性がある。
Web3業界の深掘り報道に専念し潮流を洞察インターネットを活用した新しいクラウドソーシング型のトレーニング手法により、大規模言語モデル（LLM）を開発する方法が登場し、今年後半には1000億パラメータという巨大なモデルによってAI業界に衝撃を与える可能性がある。
世界中に分散するGPUと、プライベートおよびパブリックデータを組み合わせることで、新たなタイプの大規模言語モデル（LLM）を訓練することに研究者が成功した。この動きは、人工知能構築における主流のアプローチが変わる兆しを示している。スタートアップ企業のFlower AIとVanaは、非伝統的な手法を共同で用いて「Collective-1」という新しいモデルを構築した。
Flower社は、数百台のインターネット接続されたコンピューターにトレーニング処理を分散させる技術を開発した。同社の技術はすでに、計算資源やデータを集中させることなくAIモデルを訓練するために複数の企業で使用されている。一方Vanaは、XやReddit、Telegramのプライベートメッセージなども含むデータソースを提供した。
現代の基準では、Collective-1は比較的小規模であり、その能力を決定するパラメータ数は70億である。これに対し、現在最先端のモデルであるChatGPT、Claude、Geminiなどは数百億ものパラメータを持っている。ケンブリッジ大学のコンピュータサイエンティストでFlower AIの共同設立者であるNic Lane氏は、分散型アプローチはCollective-1の規模をはるかに超える可能性を秘めていると述べた。Lane氏は、Flower AIが通常のデータを使って300億パラメータのモデルを訓練中であり、今年後半にはさらに1000億パラメータのモデルを訓練する計画だと付け加えた。これは業界をリードするモデルに匹敵する規模である。「これは人々のAIに対する見方を本当に変える可能性があるため、私たちは非常に真剣に取り組んでいる」とLane氏は述べた。また同社は画像や音声もトレーニングに取り入れ、マルチモーダルモデルの構築を目指しているという。
分散型のモデル構築は、AI業界の力関係にも影響を与える可能性がある。現在、AI企業は大量のトレーニングデータと、最先端のGPUを備え超高速ファイバーで接続されたデータセンター内の強力な計算能力を組み合わせてモデルを構築している。また、ウェブサイトや書籍など公開アクセス可能な（ただし場合によっては著作権保護されている）資料をスクレイピングして作成されたデータセットに大きく依存している。
このアプローチにより、最も豊富な資金を持ち、多数の高性能チップを保有する企業や国家だけが、最も強力かつ価値のあるモデルを開発できる状況となっている。MetaのLlamaやDeepSeekのR1のようなオープンソースモデルでさえ、大規模なデータセンターを持つ企業によって構築されている。分散型アプローチは、小規模な企業や大学が異なるリソースを集約することで高度なAIを構築できるようにするかもしれない。あるいは、従来のインフラを持たない国々が複数のデータセンターをネットワーク化してより強力なモデルを構築することを可能にするかもしれない。
Lane氏は、AI業界がますます単一のデータセンターの制約を超えてトレーニングを進める新しい方法を求めると信じている。「分散型アプローチは、データセンター型のモデルよりも洗練された方法で計算能力を拡張できるのです」と彼は述べた。
セキュリティと新興技術センターのAIガバナンス専門家Helen Toner氏は、Flower AIのアプローチは「興味深く、AI競争とガバナンスにおいて非常に重要である可能性がある」と評した。「最前線の技術では依然課題に直面するかもしれないが、迅速に追随する手法としては面白い可能性がある」とToner氏は述べた。
分割統治
分散型AIトレーニングは、強力なAIシステム構築に使われる計算の分割方法を再考することを意味する。LLMを作成するには、大量のテキストをモデルに入力し、プロンプトに対して有用な応答を生成するためにモデルが自身のパラメータを調整する。データセンター内では、トレーニングプロセスが分割され、異なるGPU上で並列に実行され、定期的に一つのメインモデルに統合される。
新しいアプローチでは、通常は大規模データセンター内で行われる処理を、数マイル離れた場所にあり、比較的遅いまたは不安定なインターネット接続でつながったハードウェア上で実行できるようになる。
大手企業の中にも分散型学習を模索しているところがある。昨年、Googleの研究者らは、DIstributed PAth COmposition（DiPaCo）と呼ばれる新しい計算分割・統合スキームを提示し、分散学習をより効率化した。
Collective-1や他のLLMを構築するために、Lane氏と英国および中国の学術共同研究者らは、分散型トレーニングをより効率化する「Photon」という新しいツールを開発した。Lane氏によれば、PhotonはGoogleの手法よりもデータ表現・共有およびトレーニング統合の点で効率が高いという。このプロセスは従来のトレーニングより遅いが、より柔軟性があり、トレーニングを加速するために新しいハードウェアを追加できる。
Photonは北京郵電大学および浙江大学の研究者らとの協働で開発された。チームは先月、このツールをオープンソースライセンスで公開し、誰でもこの手法を利用できるようにした。
Flower AIはCollective-1の構築にあたり、Vanaと協力した。VanaはユーザーがAI開発者と個人データを共有できる新しい方法を開発している。Vanaのソフトウェアは、ユーザーがXやRedditなどのプラットフォームからのプライベートデータを大規模言語モデルのトレーニングに寄付できるようにし、許可される最終用途を指定したり、貢献から収益を得たりすることも可能にする。
Vanaの共同創業者Anna Kazlauskas氏は、このアイデアは未利用のデータをAIトレーニングに利用可能にすると同時に、ユーザーが自身の情報がAIにどのように使われるかについてより多くのコントロールを持つようにすることにあると述べた。「こうしたデータは通常、公開されていないためAIモデルに組み込まれることはなかった」とKazlauskas氏は言う。「基礎モデルのトレーニングにユーザーが直接寄付したデータが使われるのは初めてのことであり、ユーザーは自分が生み出したAIモデルの所有権を持つことになる」。
ロンドン大学学院のコンピュータサイエンティストMirco Musolesi氏は、分散型AIトレーニングの主な利点の一つは、新たな種類のデータを解放できる可能性にあると指摘した。「これを最先端モデルにまで拡張すれば、医療や金融分野でのトレーニングなど、分散化されており、プライバシーに配慮すべき大量のデータをAI業界がリスクなく活用できるようになる」と彼は述べた。
あなたは分散型機械学習についてどう思いますか？
TechFlow公式コミュニティへようこそ
Telegram購読グループ：https://t.me/TechFlowDaily
Twitter公式アカウント：https://x.com/TechFlowPost
Twitter英語アカウント：https://x.com/BlockFlow_News
@willknight
