Gensyn共同創業者Ben Fielding氏との対話：a16zが主導する分散型コンピューティングプロトコル「TechFlow」がAIの民主化を実現する方法とは？
TechFlow厳選深潮セレクト
Gensyn共同創業者Ben Fielding氏との対話：a16zが主導する分散型コンピューティングプロトコル「TechFlow」がAIの民主化を実現する方法とは？
Gensynは二重の性質を持つソリューションを代表している：オープンソースのソフトウェア接続プロトコルであると同時に、リソース補償のための財務メカニズムでもある。
Web3業界の深掘り報道に専念し潮流を洞察取材：Sunny and Min，TechFlow
ゲスト：Ben Fielding、Gensyn共同設立者
私たちの目標は、機械学習エコシステム全体を独占することではなく、電力の次に位置する計算資源の最適化プロトコルとしてGensynを構築し、人類が計算資源を有効活用する能力を飛躍的に高めることです。
-- Ben Fielding、Gensyn共同設立者
2024年1月、OpenAI CEOのSam氏は、将来の2つの重要な「通貨」は計算能力とエネルギーであると述べました。
しかし、AI時代の権力通貨である計算能力は、特にAGI大規模モデル分野において大手企業によって独占されがちです。独占があるところには反独占の力もあり、分散型人工知能（Decentralized AI）が登場しました。
「ブロックチェーンという許可不要のコンポーネントは、データやアルゴリズムなどあらゆる種類のデジタルリソースの買い手と売り手のための市場を創出し、仲介者なしで世界中で取引を行うことができます」と、著名な投資機関a16zは一記事でAI計算能力におけるブロックチェーンの道を説明しています。ここで言及されているプロジェクトこそGensynです。
Gensynは分散型ディープラーニング計算プロトコルであり、スマートコントラクト方式により機械学習タスクの割り当てと報酬を促進することで、AIモデルの学習能力を迅速に実現し、ディープラーニングのトレーニング価格を低下させることを目指す、機械学習計算の基盤層となることを目指しています。
Gensynは開発者（機械学習モデルを訓練できる人）とソルバー（Solver、自分のマシンを使って機械学習モデルを訓練したい人）を結びつけます。世界各地の未使用で機械学習対応のロングテール計算デバイス（小型データセンター、個人用ゲーミングPCなど）を活用することで、機械学習に利用可能な計算能力を10〜100倍に引き上げます。
まとめると、Gensynの核心的目標は、ブロックチェーンを通じてAIの民主化を実現することです。
2023年6月、Gensynはa16z主導、CoinFund、Canonical Crypto、Protocol Labs、Eden Blockなどが参加する形で4300万ドルのシリーズA資金調達を完了しました。
Gensynは2020年にコンピュータサイエンスおよび機械学習研究のベテランであるBen Fielding氏とHarry Grieve氏によって設立されました。Harry Grieve氏はブラウン大学およびアバディーン大学出身のデータサイエンティスト兼起業家。Ben Fielding氏はノーサンビア大学卒業後、SaaSプラットフォームFair Custodianの共同創業者およびResearch Analyticsの取締役を務めていました。
TechFlowはGensyn共同設立者のBen Fielding氏にインタビューを行い、彼の暗号AIへの取り組みとGensynのAI兵器について探りました。
創業者視点から見るGensynの価値提案
TechFlow：Gensyn設立のきっかけは何でしたか？
Ben：
私の初期の経歴は学術界にあり、ニューラル・アーキテクチャ探索（Neural Architecture Search）分野の機械学習研究者として活動していました。この分野は、特にコンピュータビジョン用途向けのディープニューラルネットワークの構造を最適化することに焦点を当てています。
私の仕事は、多数の候補となるモデルアーキテクチャを同時に訓練し、特定のタスクに最適化された単一のメタモデルへと段階的に進化させる群知能的なニューラルネットワーク構造のアルゴリズムを開発することでした。
この期間中、計算リソースに関する重大な課題に直面しました。博士課程の学生として、私は机の下にある大型ワークステーション内の数台の高性能GPUを利用できましたが、これらは自費で購入したものです。
一方、Googleのような企業も同様の研究を行っていましたが、彼らはデータセンターで数千ものGPUとTPUを使用し、数週間にわたり継続的に稼働させていました。この差異により、十分な計算能力以外の必要なすべてのリソースを持っているにもかかわらず、世界中の他の人々も同様の制約に直面しており、それが研究および社会の進歩の速度を妨げていることに気づきました。この状況に不満を感じたことが、最終的にGensyn設立の原動力となりました。
Gensynに全力投入する前、私は2年間データプライバシー系スタートアップを共同創業しました。この企業は消費者データフローの管理と同意に基づくユーザーデータアクセスに注力し、個人と企業のデータとの関わり方を改善することを目指していました。
この経験からは、一般的な起業の落とし穴といった貴重な教訓を得ることができ、個人データフローと同意ベースのアクセスに対する慎重さも強まりました。
4年前、私は自分の起業プロジェクトを終了し、ロンドンのアクセラレーター「Entrepreneur First」に参加しました。そこで共同創業者であるHarry Grieveと出会ったのです。まさにその場所で、我々はグローバルな計算リソース課題を解決するためにGensynを立ち上げました。当初の戦略は、組織横断的なプライベートなデータサイロ内での計算タスク配分（フェデレーテッドラーニング）でした。これは非常に興味深いアイデアでしたが、すぐにそれをグローバル規模に拡張する可能性に気づきました。この拡張ビジョンに対応するためには、計算元自体に関連する基本的な信頼問題を解決しなければなりませんでした。
以来、Gensynは証明、ゲーム理論によるインセンティブ、確率的チェックを組み合わせることで、デバイス上で処理される機械学習タスクの正確性を保証してきました。内容は技術的になりがちですが、Gensynは誰もが任意の計算デバイスを使って機械学習モデルを訓練できるシステムの開発に尽力しています。
TechFlow：Sam Altman氏はAIチップ工場運営に7兆ドルが必要だと述べ、世界的なチップ不足問題に対処しようとしています。彼の計画はチップ供給のスケーリングという点で現実的でしょうか？一方、GensynはAltman氏の解決策とは異なるどのようなAI課題に取り組んでいるのでしょうか？
Ben：
AI分野とその直面する課題に関して、GensynはAltman氏が直面している課題と同種の問題に取り組んでいます。本質的に、計算アクセス問題を解決する方法は2つあります。機械学習はますます普及しており、使用するすべての技術に統合される可能性があります。命令型コードから確率的モデルへの移行です。これらのモデルには大量の計算能力が必要です。計算需要と世界のチップ製造能力を比較すると、顕著なギャップが見られます。需要は急上昇している一方、チップ生産は緩やかにしか増えていません。
解決策は（1）需要を満たすためにより多くのチップを製造する、または（2）既存のチップの使用効率を向上させる、のいずれかです。
最終的には、この両方の戦略が成長し続ける計算リソース需要に対応するために必要不可欠です。
私はAltman氏がこの問題に正面から取り組んでいると考えます。問題はチップサプライチェーンにあり、これは非常に複雑なシステムです。このサプライチェーンの一部は特に難しく、少数の企業しかその複雑さを管理できません。現在、多くの政府がこれを地政学的問題と見なし、半導体製造の国内回帰やサプライチェーンのボトルネック解消に投資しています。
私にとって、Altman氏が提示した7兆ドルという数字は、市場がこの問題にどれだけ注目しているかを測定するためのテストです。この驚くべき数字が直接拒否されなかったことは非常に注目に値します。「馬鹿げているように聞こえるが、本当なのか？」という問いが生まれます。
このような反応は、重大な懸念が存在し、人々が巨額の資金を投じてでも問題を解決しようとしていることを示しています。これほど高い水準を設定することで、Altman氏は将来的なチップ生産努力に対して実質的なベンチマークを設けました。この戦略的措置は、実際のコストが7兆ドルに達しなくても、この分野への大規模投資の先例を築き、チップ製造の課題に真剣に取り組む姿勢を示しています。
Gensynのアプローチは異なります。我々は世界中の既存チップの使用を最適化することを目指しています。ゲーミングGPUからM1、M2、M3チップ搭載のMacBookまで、これらの多くは十分に活用されていません。
これらのデバイスは、専用AIプロセッサを開発せずとも完全にAI処理をサポートできます。しかし、こうした既存リソースを利用するには、TCP/IPがインターネット通信を促進するのと同様に、それらを統一されたネットワークに統合するプロトコルが必要です。
このプロトコルにより、これらのデバイスはオンデマンドで計算タスクに利用可能になります。
私たちのプロトコルとTCP/IPなどの従来のオープンソースプロトコルとの主な違いは財務面にあります。後者は純粋な技術的解決策ですが、ハードウェアリソースの使用には電気代やハードウェア自体の物理的コストといった固有のコストが伴います。
この問題に対処するため、我々のプロトコルは暗号資産と分散化の原則を取り入れ、ハードウェア所有者の貢献を奨励する価値調整ネットワークを構築しています。
したがって、Gensynは二重性を持つ解決策を表しています。ソフトウェア接続のオープンソースプロトコルであると同時に、リソース報酬のための財務メカニズムでもあるのです。
さらに、機械学習市場が直面する課題は計算リソースだけではありません。
-
データアクセス、知識共有などの他の要素も重要な役割を果たします。分散化技術を通じて、これらの異なるコンポーネントの価値付与を促進し、より統合的で効率的なエコシステムを推進できます。したがって、Gensynは孤立して動作するわけではなく、より広範な課題の一部を解決していますが、残りの課題は他の解決策が必要です。機械学習分野の発展にはこうした協力的努力が不可欠です。
Gensynの二重性（Dual-natured）解決策の定義
TechFlow：最も簡単な言葉でGensynの二重解決策を説明していただけますか？
Ben：
簡単に言えば、Gensynはオープンソースソフトウェア上に構築されたP2Pネットワークです。あなたのデバイスが参加するには、このソフトウェアを実行すればよく、またデバイスが機械学習訓練タスクを実行できる必要があります。このネットワークは複数のノードから成り、各ノードはあなたのデバイスのようにそのソフトウェアを実行し、直接通信して利用可能なハードウェアや実行待ちタスクに関する情報を共有します。利点は中央サーバーが不要で、あなたのデバイスが他のデバイスと直接相互作用できる点です。
Gensynの重要な特徴の一つは、中央集権的な権限を持たず通信を行うことです。例えば、MacBookを使っている場合、他のMacBookと直接接続・通信し、ハードウェア能力や利用可能なタスクに関する情報を交換します。
Gensynが直面する主要な課題の一つは、ブロックチェーン外で非決定論的（non-deterministic）な計算を検証することです。これはブロックチェーンにとっては大きすぎる計算です。
我々の解決策は、検証可能な計算証明をデバイスが生成できるようにする検証メカニズムの導入です。この証明は他のデバイスがチェックでき、作業の整合性を確保しつつ、どの部分が検証対象になるかを明かすことなく、デバイスが検査されそうな部分だけを完了することを防ぎます。
当社のシステムは、デバイスがソリューションプロバイダーおよび検証者として、暗号証明プロセスや選択的な再実行を通じて、完了したタスクの有効性を確認するよう奨励しています。本質的に、Gensynはノード間の相互運用性を実現し、作業を相互に検証し、完了したタスクについて合意を形成することを目指しています。支払いはこの枠組み内で実行され、ブロックチェーンの信頼メカニズムを利用します。この技術エコシステムはイーサリアムの機能を模倣しており、タスクの整合性を確保するためのノード間相互検証に重点を置いています。
当社の主な目標は、最小限の計算努力でタスク完了の合意を実現し、システムの整合性を確保しつつ、大規模な機械学習タスクを扱えるようにすることです。
以上をまとめると、Gensynは2つの主要部分に分けられます。
-
第一はブロックチェーン側で、前述のステートマシンが含まれます。これは参加者間で共有計算が行われる場所です。
-
Gensynのもう半分は通信インフラにかかわるもので、ノードどうしがどのように相互作用し、機械学習タスクを処理するかに重点を置いています。
この構成により、ブロックチェーン側で後に検証可能であれば、任意のノードが任意の計算を実行できます。
我々はすべてのノードをカバーする通信インフラを構築し、情報共有、必要に応じたモデル分割、広範なデータ処理を促進しています。この設定は、即時の信頼調整なしに、データ並列、モデル並列、パイプライン分割などさまざまなモデル訓練手法をサポートします。
二重性解決策 = ステートマシン + 機械学習タスク通信
Gensynステートマシン
TechFlow：Gensynチェーンは特定の機械学習P2Pネットワーク内でどのように機能しますか？
Ben：
当初、我々はすべての参加者が役割に従いタスクを遂行し、対応する証明を生成すると仮定しました。その後、ブロックチェーン側に注目し、他のブロックチェーンと同様にハッシュ化された取引や操作、そして前のブロックのハッシュを含む共有状態を維持します。これにより完全なチェーンが形成されます。
参加者間の合意は、ブロック内の計算が一致し同じハッシュ値を生成すれば、作業が正しく完了したと見なされ、次のチェーンに進めるということです。
GensynはPOS（プルーフ・オブ・ステーク）方式を採用し、ブロック生成の検証に貢献した者に報酬を与えます。
ブロックの作成には、(1) 機械学習検証作業に必要な操作のハッシュ化、および (2) そのブロック内で発生した取引の記録が含まれます。
我々のアプローチはイーサリアムなどのシステムと似ていますが、独自の貢献は主に通信面、特にノードが機械学習タスクをどのように管理・協働処理するかにあります。
TechFlow：Gensynチェーンはイーサリアムと何が違うのでしょうか？もしコアインフラが新しくなければ、POSチェーンは機械学習の特定ユースケースにどう適合するように設計されているのでしょうか？
Ben：
当社のブロックチェーンのコア構造自体は新しくありませんが、新しいデータ可用性レイヤーを除きます。顕著な違いはより大きな計算タスクを処理する能力にあり、これにより操作が通常のイーサリアムよりもはるかに効率的になります。
これは多くの機械学習モデルの基本構成要素である畳み込み演算（convolution operations）に特に重要です。
Solidityを使ってイーサリアム仮想マシン（EVM）内でこれらの演算を効率的に実行するのは困難です。
Gensynチェーンはより柔軟性があり、EVMの操作範囲の制限を受けずに、これらの計算をより効率的に処理できます。
真の課題は汎化性（Generalizability）の実現です。つまり、モデルがこれまで見たことのない全く新しいサンプルであっても、正確にその位置を予測できることであり、これは十分に広範な空間的理解を持っているためです。
この訓練プロセスには大量の計算リソースが必要で、繰り返しモデルにデータを流し込む必要があります。
Gensynの機械学習ランタイムの任務はモデルのグラフィカル表現を取得し、計算実行時に各操作の完了証明を生成できるフレームワークに配置することです。
ここに重要な問題があります。それは決定性と再現性です。
理想的には数学の世界では、同じ操作を繰り返せば同じ結果が出ます。しかし、計算ハードウェアの物理世界では、予測不能な変数により計算結果にわずかな変化が生じることがあります。
これまで、機械学習におけるある程度のランダム性は許容され、過学習を防ぎ、より良い汎化を促進する点で有益でさえありました。
しかし、Gensynにとって汎化性と再現性の両方が極めて重要です。
計算結果の変化は完全に異なるハッシュ値をもたらし、検証システムが誤って作業を未完了とマークし、財務損失のリスクにさらされる可能性があります。この点に対処するため、当社のランタイムは操作が各デバイス上で決定的かつ再現可能であることを保証しており、これは複雑ながらも不可欠な解決策です。
このアプローチは、PyTorch、TensorFlow、JAXなどの機械学習フレームワークを使うのに似ています。ユーザーはこれらのフレームワーク内でモデルを定義し、訓練を開始できます。我々はこうしたフレームワークやCUDAのような基盤ライブラリを適応させ、モデルがいかなるデバイスでも再現可能な正確な方法で実行されることを保証しています。
これにより、あるデバイスでの操作結果のハッシュ処理が別のデバイスでも同じハッシュを生成することが保証され、当社システムにおける機械学習実行のこの側面の重要性が強調されます。
Gensynはオープンソースのブロックチェーン通信プロトコルを通じてクラウドサービスの分散化を実現し、分散型機械学習を支援
TechFlow：それではGensynチェーン上に構築された、この特定の機械学習ネットワーク向けブロックチェーン通信インフラはどのように機能しているのでしょうか？
Ben：
通信インフラの目的はデバイス間の相互通信を促進することです。その主な機能は、あるデバイスが別のデバイスが生成した作業と証明を検証できるようにすることです。
本質的に、デバイス間の通信は相互に作業を検証するために使用され、このプロセスは紛争時には中心的な仲裁者としてブロックチェーンを通じて行われます。ブロックチェーンは当社システムで唯一の信頼できる情報源であり、これがなければ参加者の身元を確実に検証できず、誰もが作業を検証したと主張できるようになります。
ブロックチェーンとその暗号技術により、本人認証と作業確認が安全になります。デバイスはこの仕組みのもとで身元を証明し、情報を安全に提出でき、他者がその情報の真偽を識別・検証できます。
このシステムの最終目的はデバイス所有者への報酬提供です。機械学習タスクを実行できるハードウェアを持っている場合、それを貸し出すことができます。
しかし、従来のシステムではこのプロセスは複雑でコストがかかります。例えば、多数のNVIDIA GPUを購入して貸し出す場合—資本支出を運用支出に変換する行為は、クラウドサービスプロバイダーと同様ですが—多くの課題があります。AI企業が自社ハードウェアに興味を持つようにする必要があり、販売チャネルを構築し、モデル転送・アクセスのインフラを開発し、サービスレベル契約（SLA）を含む法的・運用契約を管理しなければなりません。SLAには現場エンジニアが契約された稼働時間を確保しなければならず、ダウンタイムは契約上の責任や潜在的な財務リスクにつながります。この複雑さは個人や小規模企業にとって大きな障壁であり、集中型クラウドサービスが主流となった理由の一つです。
Gensynは、こうした取引に通常伴う人的・商業的コストを排除するより効果的な方法を提供します。ソフトウェアを実行するだけでよく、法律契約やエンジニアによるインフラ構築に依存しません。法的契約はスマートコントラクトに置き換えられ、作業検証は自動化されたシステムで行われ、タスクが正しく完了したかをチェックします。違約請求の手動処理や法的解決を求めることもなく、すべて技術的に即座に解決可能です。これは顕著な利点です。つまり、サプライヤーはわずか数行のソフトウェアを実行するだけで、GPUから収益を得られ、追加の手間を一切負わずに済みます。
Go to Marketについて
我々がサプライヤーにGensynネットワークへの参加を呼びかけるのは、オープンソースソフトウェアを実行するだけで、即座に機械学習計算の需要市場にアクセスできると伝えることです。これは前例のない機会であり、市場を大幅に拡大し、新参者がAWSのような伝統的サービスの支配的地位に挑戦できるようにします。AWSなどの企業は複雑な運用を管理する必要がありますが、我々はそれらをコードに変換し、新たな価値フローの道を創造しています。
従来、機械学習モデルを訓練したい場合、計算費用を支払う意思があれば、そのお金は主に独占的供給を行う主要クラウドプロバイダーに流れます。彼らは効果的な管理能力により市場を占めています。Google Cloud、Azure、その他企業の競争が高まっているにもかかわらず、これらのプロバイダーの利益率は依然として高いままです。
分散型クラウドサービスの目的：分散型訓練 vs. 分散型推論
TechFlow：機械学習は大まかに訓練(training)と推論(inference)に分けられます。GensynのP2P計算リソースはどちらの部分で機能しますか？
Ben：
私たちの重点は価値抽出を伴う訓練にあります。
訓練は初期学習からファインチューニングまでを含みますが、推論はモデルを変更せずにデータで照会することであり、基本的に入力に対してモデルが何を予測するかを見ることです。
-
訓練には大量の計算リソースが必要で、通常は非同期的であり、即時結果は必要ありません。
-
一方、推論はリアルタイムアプリケーションでのユーザー満足度を確保するために高速実行が必要で、訓練の計算集約的特性と明確に対照的です。
分散型技術は、推論に不可欠な遅延問題を解決するには現時点では不十分です。将来、推論を効果的に行うには、遅延を最小化するためにモデルをユーザーにできるだけ近い場所に展開する必要があります。
しかし、このようなネットワークを立ち上げるのは難しい課題です。その価値と効果はネットワーク規模の拡大とともに増大するため、メトカーフの法則に従います。Heliumネットワークなどのプロジェクトで見られる発展動態と同様です。
したがって、Gensynが推論の課題に直接対処することは現実的ではありません。このタスクは、遅延とネットワークカバレッジの最適化に特化した独立した実体に適しています。
我々は、複数分野で同時発展を試みるよりも、単一機能の最適化に特化したプロトコルを支持します。これにより効率の希薄化を避けられます。こうした専門化は競争と革新を促進し、それぞれがエコシステムの特定側面に精通した相互運用可能なプロトコル群を生み出します。
理想としては、Gensynノードを計算タスクで動作させるだけでなく、推論、データ管理、データラベリングなどの他の機能ノードも運用できます。これらのネットワークが相互接続されることで、強力なエコシステムが構築され、機械学習タスクがさまざまなプラットフォーム間でシームレスに移行できるようになります。このような分散型
TechFlow公式コミュニティへようこそ
Telegram購読グループ：https://t.me/TechFlowDaily
Twitter公式アカウント：https://x.com/TechFlowPost
Twitter英語アカウント：https://x.com/BlockFlow_News
深潮TechFlow
