AI大規模モデルとWeb3はいかにして共存・共栄するのか？
TechFlow厳選深潮セレクト
AI大規模モデルとWeb3はいかにして共存・共栄するのか？
ブロックチェーンがAI大規模モデルに具体的に貢献するのは、「計算力、データ、協働」の面である。
Web3業界の深掘り報道に専念し潮流を洞察執筆：田鴻飛、万物島「AI+Crypto Studio」マネージャー
大規模モデルは人類史上で最も急速に普及したハイテク製品としてすべての注目を集めており、かつてのトレンドであったWeb3は法的側面からますます厳しい挑戦に直面している。しかし、これら二つの技術は全く異なり、相互に代替する関係にはない。万物島「AI+Crypto Studio」のマネージャーである田鴻飛氏が、大規模モデルの発展過程で生じる問題と、Web3分野の企業がそれらの問題をどう解決しようとしているかについて解説する。
大規模モデル業界の課題とWeb3による解決策
周知の通り、2015年以降、インターネット業界は寡占独占の段階に入り、世界中の各国がプラットフォーム企業に対して独占禁止法上の調査を実施している。大規模モデルの登場は、この寡占状態をさらに強化している。大規模モデルはアルゴリズム、計算能力（算力）、データの三要素から構成される：
-
アルゴリズム分野では、一定の独占状態はあるものの、オープンソース勢力や研究大学の対抗、そして大手企業への不信感があるため、アルゴリズム自体はある程度オープンな状態を維持できる；
-
計算能力（算力）については、大規模モデルの学習コストが極めて高額であるため、それを負担できるのは大企業のみであり、結果としてアルゴリズムの生成は事実上大企業によって完全に支配されている；
-
データに関しては、大規模モデルの学習は公開データに依存しているが、モデルのパラメータが増加するにつれ、公開データは近い将来枯渇する見込みである。そのため、大規模モデルのさらなる成長には非公開データの活用が不可欠となる。多数の中小企業が保有するデータ総量は膨大であるものの、分散して利用されにくい状態にあるため、依然として大企業がデータにおいて独占的な優位性を持つ。
したがって、大規模モデル時代における中央集権的コントロールはこれまで以上に強固になり、将来の世界は数台あるいは一台のコンピューターによって支配される可能性がある。（去中心化を目指すWeb3の世界ですら、Vitalikが提唱するイーサリアムのエンドゲームは、巨大なブロック生成機一台によって運営されることになるだろう。）
また、ChatGPTを開発したOpenAI社の核心メンバーはわずか20人ほどである。さまざまな理由により、ChatGPTのアルゴリズムは未だにオープンソース化されておらず、当初の非営利組織としての性格も、限定的営利組織へと変更された。ChatGPTを基盤とするアプリケーションが人々の生活を大きく変えている中、ChatGPTモデルの些細な修正さえも人類に大きな影響を与える。Googleの「悪を行わず（Don't be evil）」という理念と比較しても、ChatGPTの社会への影響はより深遠である。
ゆえに、モデルの計算信頼性（computational trustworthiness）は重要な議題となる。たとえOpenAIが非営利団体であっても、権力が少数者に集中することは多くの弊害を生む。（これに対し、Vitalikが提唱するイーサリアムのエンドゲームでは、たとえ一台のマシンがブロック生成を行うとしても、誰でも容易に検証可能な仕組みを通じて透明性を確保する。）
同時に、大規模モデル業界には現在、計算能力の不足、利用可能な学習データの枯渇、モデル共有の難しさといった問題もある。統計によると、2021年以前はAI業界の主な課題はデータ不足であり、すべてのディープラーニング企業が特定分野のデータを必死に探していた。しかし大規模モデル時代以降、今度は計算能力の不足が新たな障壁となっている。
大規模モデルの開発は、データ収集、前処理、モデル学習、ファインチューニング、デプロイおよび推論問い合わせの各段階に分けられる。以下では、これらの各段階においてブロックチェーンがどのように貢献できるか、また大規模モデルの過度な集中化に対抗する方法を簡単に紹介する。
-
データ面では、2030年以降に公開データが枯渇するため、より価値があり量も多い非公開データを、ブロックチェーン技術によってプライバシーを守りつつ活用する必要がある；
-
データアノテーション（注釈付け）では、トークン報酬によってより大規模なコミュニティ参加によるアノテーションと検証が可能になる；
-
モデル学習段階では、モデル共有や協働学習によって計算能力の共有を実現できる；
-
モデルのファインチューニング段階では、トークン報酬によってコミュニティの参加を促進できる；
-
ユーザーの推論計算段階では、ブロックチェーンによりユーザーのデータプライバシーを保護できる。
具体的には：
1）希少な計算能力（算力）
計算能力は大規模モデルにとって不可欠な生産要素であり、現在最も高価な資源である。新しく資金調達を行ったスタートアップでさえ、調達額の80％をすぐにNVIDIAに支払いGPUを購入しなければならない。独自に大規模モデルを開発する企業は、最低でも5000万ドルを投じて自社のデータセンターを建設しなければならず、小規模なスタートアップは高価なクラウドコンピューティングサービスを購入せざるを得ない。
しかし、短期間での大規模モデルの人気急上昇と、モデルそのものが莫大な計算リソースを消費することから、すでにNVIDIAの供給能力を超えている。統計によれば、大規模モデルの算力需要は数ヶ月ごとに倍増しており、2012年から2018年の間に需要は30万倍に増加し、大規模モデルの計算コストは毎年31倍ずつ上昇している。
中国のインターネット企業にとっては、アメリカによる高性能GPUの輸出規制という追加の課題もある。つまり、巨額の学習コストこそが、大規模モデル技術が少数者の手中に集中する根本的な原因なのである。
では、ブロックチェーン技術を使って大規模モデルの算力問題をどう解決できるのか？
大規模モデルの生成プロセスは、主に学習、ファインチューニング（fine tuning）、ユーザーの推論問い合わせに分けられる。確かに大規模モデルの学習は費用がかさむことで知られているが、一つのモデルバージョンは一度だけ生成すればよい。ほとんどの場合、ユーザーが大規模モデルを利用する際には推論計算のみが必要となる。AWSの統計でもそれが裏付けられており、実際に消費される算力の80％は推論計算に使われている。
大規模モデルの学習にはGPU間の高速通信が必要であり、ネットワーク上で分散的に完了するのは困難である（時間延長でコスト削減を選択する場合を除く）。しかし、推論計算は単一のGPU上で完結できる。また、ファインチューニングは既存の大規模モデルに専門データを付加するものであり、必要な計算リソースは本体の学習に比べてはるかに少ない。
グラフィックレンダリングにおいて、消費者向けGPUの性能は企業向けよりも優れており、しかも大部分の時間はアイドル状態にある。1999年にカリフォルニア大学バークレー校が開始した宇宙生命探査プロジェクトSETIや、2000年代初頭に流行したグリッドコンピューティング以来、空き時間の計算リソースを連携させて巨大な計算タスクを処理する技術アーキテクチャが存在する。ブロックチェーンが登場する前は、こうした協力は科学的研究などの特定領域に限られ、参加者の善意や公共心に依存していたため、応用範囲は限定されていた。しかし現在、ブロックチェーン技術を用いれば、トークン報酬によって広範な応用が可能になる。
去中心化クラウドコンピューティングプロジェクトAkashは、汎用計算ネットワークを構築し、ユーザーが機械学習モデルをデプロイして推論計算や画像レンダリングを行うことを可能にしている。他にもBittensor、Modulus Lab、Giza、ChainMLなど、ブロックチェーンとAIを融合させるプロジェクトは、いずれも推論計算に焦点を当てている。
一方、ブロックチェーンAI計算プロトコルGensynや、オープンソース生成AIプラットフォームTogetherは、大規模モデルの学習に特化した去中心化計算ネットワークの構築を目指している。
課題：去中心化計算ネットワークの実現には、低速で不安定な通信ネットワーク、計算状態の同期困難、多様なGPU環境への対応だけでなく、経済的インセンティブ設計、参加者の不正行為防止、作業量証明（PoW）、セキュリティ、プライバシー保護、スパム攻撃対策など、数多くの技術的・経済的課題が存在する。
2）希少なデータとデータの訂正
大規模モデルの核心アルゴリズムである「人間からのフィードバックによる強化学習（RLHF）」には、人の介入による微調整、誤りの訂正、バイアスや有害情報の除去が不可欠である。OpenAIはRLHFを用いてGPT-3を微調整し、ChatGPTを生み出した。このプロセスで、OpenAIはFacebookのグループから専門家を探し出し、ケニアの労働者に時給2ドルを支払って作業を行わせた。専門分野における最適化学習には通常、専門家の関与が必要だが、これをトークン報酬によるコミュニティ参加と組み合わせることが可能である。
Decentralized Physical Infrastructure Networks (DePINs) 分野では、トークン報酬によって人々がセンサーを設置し、物理世界からのリアルタイムで真実のデータを共有することで、さまざまなモデルの学習に活用している。例としては、Reactがエネルギー使用データを収集、DIMOが車両走行データを収集、WeatherXMが天気データを収集、Hivemapperが地図データ収集のためにトークン報酬を提供し、交通標識のアノテーションを促進することで、RLHFの機械学習アルゴリズムの精度向上を支援している。
また、大規模モデルのパラメータが増加するにつれ、既存の公開データは2030年までに枯渇すると予測されており、今後の進歩には非公開データの活用が必須となる。非公開データの量は公開データの10倍とも言われるが、企業や個人に分散しており、プライバシー・機密性の問題から利用が難しい。このジレンマ―大規模モデルはデータを必要とするが、データ保有者はモデル利用を望みながらも、自らのデータを提供したくない―は、ブロックチェーン技術によって解決できる。
オープンソースの推論モデルは計算リソースが少なくて済むため、モデルをデータ側にダウンロードして実行できる。一方、非公開モデルや大規模モデルの場合は、データを匿名化（脱敏）処理してモデル側にアップロードする必要がある。脱敏手法には合成データやゼロ知識証明（ZKP）がある。
どちらの方式を採用しても、モデル側またはデータ側の改ざん防止、信頼性の確保という課題がある。
課題：Web3のトークン報酬はこの問題の解決に寄与できるが、不正行為の防止が鍵となる。
3）モデルの協働
世界最大のAIアートモデル共有プラットフォームCivitaiコミュニティでは、ユーザーがモデルを自由に共有・コピー・改変し、自分のニーズに合ったモデルを生成している。
オープンソースAIの新星であり、二重合意形成（双コンセンサス）ブロックチェーンプロジェクトであるBittensorは、トークン報酬による去中心化モデルを設計し、「エキスパートの混合（mixture of experts）」協働メカニズムを通じて共同で問題解決モデルを生成している。また、「ナレッジ・ディスティレーション（knowledge distillation）」をサポートしており、モデル同士が情報を共有することで学習を加速させ、多くのスタートアップが大規模モデルに参画する機会を提供している。
一方、自動化、オラクル、パブリックAIなどのオンチェーン外サービスを統合するネットワークAutonolasは、Tendermintを用いてエージェント同士が合意形成を行う協働フレームワークを設計している。
課題：多くのモデル学習には依然として大量の通信が必要であり、分散型学習の信頼性と時間効率は大きな障壁である；
大規模モデルとWeb3の革新的な融合
上記では、Web3が大規模モデル業界の課題解決にどう貢献できるかを述べた。二つの強大な潮流の融合は、新たな革新的応用を生み出すだろう。
1）ChatGPTによるスマートコントラクト作成
最近、あるNFTアーティストが一切のプログラミング知識を持たないまま、プロンプト操作によってChatGPTを使い、自身のスマートコントラクトをリリースし、Turbonerというトークンを発行した。彼はYouTubeで1週間の創作プロセスを記録し、ChatGPTを用いたスマートコントラクト作成への関心を高めた。
2）暗号資産決済によるスマートマネジメント
大規模モデルの発展はインテリジェントアシスタントの知能を飛躍的に向上させ、暗号資産決済と組み合わせることで、より多くのリソースを調整し、より複雑なタスクを協働で遂行できるようになる。AutoGPTは、ユーザーが提供したクレジットカード情報を使って、自動でクラウドリソースの購入や航空券の予約ができるが、自動ログインやその他のセキュリティ認証の制限により、その能力は大きく制限されている。Contract Net Protocolなどを含むマルチエージェントシステム（MAS）は、複数のインテリジェントアシスタントが開放市場で協働する設計を提供しており、トークンの支援があれば、信頼に基づく限定的な協働を超えて、より大規模な市場経済に基づく協働が可能になる。これは、人類社会が原始社会から貨幣社会へ移行したのと同様の転換である。
3）zkML（ゼロ知識機械学習）
ゼロ知識証明（ZKP）技術のブロックチェーン応用は二つに分けられる。一つはブロックチェーンのパフォーマンス向上のため、計算をオンチェーン外に移転し、ZKPでオンチェーンで検証するもの。もう一つは取引のプライバシー保護である。ZKPの大規模モデル応用には、モデルの信頼できる計算（モデル計算の一貫性・真実性の証明）と学習データのプライバシー計算が含まれる。去中心化環境では、モデル提供者は顧客に対して、約束したモデルを忠実に提供していることを証明する必要がある。また、学習データの協力者は、自らのプライバシーを守ったままモデルの学習や利用に参加する必要がある。ZKPは可能性を示しているが、依然多くの課題があり、準同型計算やフェデレーテッドラーニングなどのプライバシー保護技術もまだ成熟していない。
BEC（Blockchain Edge Client）アーキテクチャに基づく解決策
上記以外に、トークン報酬を導入せず、極めてシンプルなブロックチェーン応用を採用しているため、あまり注目されていない流れもある。
BECアーキテクチャは、Jack Dorseyが提唱するWeb5や、Tim Berners-LeeのSolidと多くの共通点を持っている。
彼らの共通認識は以下の通りである：
-
各個人に紐づくエッジノードが存在する；
-
ほとんどのアプリケーションの計算とストレージはエッジノードで処理されるべきである；
-
個人ノード同士の協働はブロックチェーンを通じて行われる；
-
ノード間の通信はP2Pで行われる；
-
個人は自らのノードを完全に管理するか、信頼できる第三者に委託管理（relay serverと呼ばれる場合もある）できる；
-
これにより、可能な限り最大の去中心化が実現される；
このように、個人が管理するノードが個人データを保存し、大規模モデルを搭載することで、完全にパーソナライズされ、100％プライバシーが保護された個人用インテリジェントエージェント（Agent）を訓練できる。SIGの中国創立パートナーである龚挺博士は、未来の個人ノードを『アナと雪の女王』に登場する雪だるまオラフが頭上に浮かべている小さな雲に例え、ロマンチックに表現している。
こうなると、現在のメタバースにおけるアバターは、キーボード操作で動かすだけの姿形ではなく、魂を持ったエージェントとなる。それは24時間体制でネットニュースを学習し、メールを処理し、社交的なチャットメッセージにも自動返信できる（しつこい恋人は注意が必要だ。今後、相手がエージェントを使って自分を誤魔化していないかチェックする手段が必要になるかもしれない）。エージェントが新しいスキルを必要とするときは、スマートフォンにアプリをインストールするように、自分のノードに新しいアプリを追加すればよい。
まとめ
歴史的に見て、インターネットの発展とともにプラットフォーム化が進む中で、ユニコーン企業の誕生スピードはますます早くなっているが、本質的にはスタートアップ企業の発展環境はますます厳しくなっている。
GoogleやFacebookが提供する効率的なコンテンツ配信プラットフォームのおかげで、2005年に設立されたYouTubeはわずか1年後にGoogleに16億ドルで買収された；
AppleのApp Storeという効率的なアプリ配信プラットフォームにより、2012年に設立されたInstagramはわずか10数人で構成されていたが、同年にFacebookに10億ドルで買収された；
ChatGPTの大規模モデルの支援を受け、わずか11人のチームで運営されるMidjourneyは、1年で1億ドルの収益を上げた。また、100人未満のスタッフしかいないOpenAIの評価額は200億ドルを超える。
インターネットプラットフォーム企業はますます強大になっているが、大規模モデルの出現は、大企業によるインターネットの独占状況を変えたわけではない。大規模モデルの三要素―アルゴリズム、データ、計算能力―は依然として大企業に支配されており、スタートアップは大規模モデルの革新も、資金力を用いた学習もできない。そのため、大規模モデルを基盤とした特定分野への応用にしか参入できない。大規模モデルは知識の普及を促進しているように見えるが、真の力は、世界で100人にも満たないモデル生成能力を持つ人々の手に握られている。
もし将来、大規模モデルが人々の生活のあらゆる側面に浸透し、日常の食事、健康状態、勤務メール、弁護士からの書簡などについてChatGPTに尋ねるようになったら、理論的には、大規模モデルを握る人々がパラメータを少しだけ変更するだけで、無数の人々の生活に大きな影響を与えることができる。大規模モデルによって失職する人々はUBI（普遍的ベーシックインカム）やWorldcoinで救われるかもしれないが、少数者による大規模モデルの支配がもたらす悪用リスクはさらに深刻である。これがOpenAI設立の原点でもある。OpenAIは非営利組織という形で利益追求の問題は解決したかもしれないが、権力集中の問題をどう解決するのか？ 明らかに、大規模モデルは数十年にわたってインターネット上で無料で共有されてきた人類の知識を活用して急速に学習されたが、その成果物であるモデルは極少数者の手に閉じ込められている。
つまり、大規模モデルとブロックチェーンは価値観の面で大きな衝突がある。ブロックチェーン関係者は大規模モデルの起業に積極的に参加し、ブロックチェーン技術で大規模モデルの問題を解決すべきである。インターネット上で無料で得られる膨大なデータが人類共通の知識であるならば、それらのデータから生成された大規模モデルもまた全人類のものであるべきだ。 最近、OpenAIが文献データベースに対して使用料を支払い始めたように、私たち一人ひとりがインターネットに公開してきたブログや投稿に対しても、OpenAIは報酬を支払うべきなのである。
TechFlow公式コミュニティへようこそ
Telegram購読グループ：https://t.me/TechFlowDaily
Twitter公式アカウント：https://x.com/TechFlowPost
Twitter英語アカウント：https://x.com/BlockFlow_News
