データを流動化する：暗号プロジェクトはAIデータ訓練のボトルネックをどう緩和するのか？
TechFlow厳選深潮セレクト
データを流動化する：暗号プロジェクトはAIデータ訓練のボトルネックをどう緩和するのか？
最もスマートで人間に近いAIモデルを開発する競争において、重要なリソースはデータである。
Web3業界の深掘り報道に専念し潮流を洞察編集：TechFlow
画像内のすべての巧みな参照が見つけられるか試してみてください。
過去2年間、それほど有名ではなかったスタートアップ企業OpenAIがチャットボットアプリケーションChatGPTをリリースして以来、AIは舞台裏から表舞台へと移った。私たちは機械知能が生活に全面的に浸透する重要な時期にいる。この知能を巡る支配権争いが激しさを増すにつれ、それを推進するデータへの需要もますます高まっている。それが本稿の主題である。
本稿では、AI企業が求めるデータの規模とその緊急性、そしてデータ取得に直面する課題について議論する。また、この満たしがたい需要が、私たちが愛するインターネットと何十億もの貢献者たちにどのような脅威を与えるのかを探る。最後に、暗号技術を活用してこうした問題や懸念に対処しようとする新興企業について紹介する。
事前に一つ明記しておく必要がある：この記事は大規模言語モデル（LLMs）の訓練という観点から書かれており、すべてのAIシステムに関するものではない。そのため、「AI」と「LLMs」を頻繁に同義的に使用している。
データを提示する
LLMsには三つの主要なリソースが必要だ：計算能力、エネルギー、そしてデータ。大量の資本を背景に、企業、政府、スタートアップがこれらのリソースを奪い合っている。このうち、計算能力の争奪戦が最も目立つが、これはNVIDIA株価の急騰にも起因している。
LLMの訓練には大量の専用GPU、特にNVIDIAのA100、H100、そして間もなく登場するB100が必要となる。これらの計算装置はアマゾンや地元のパソコン店で購入できるものではない。むしろ数万ドルもする高額品だ。NVIDIAが自社のAIラボ、スタートアップ、データセンター、超大手顧客にどう配分するかが決め手となる。
ChatGPTリリース後18ヶ月以内に、GPUの需要は供給を大きく上回り、納期は最大11ヶ月に達した。しかし、一部のスタートアップが閉鎖し、訓練アルゴリズムやモデル構造が改善され、他社が専用チップを投入し、NVIDIAが生産を拡大したことにより、需給バランスは正常化に向かい、価格も下落している。
次にエネルギー問題がある。データセンター内のGPUを稼働させるには莫大なエネルギーが必要だ。いくつかの予測によれば、2030年までにデータセンターが世界のエネルギー消費の4.5％を占めるという推計もある。このような急増する需要が既存の電力網に負担をかける中、テック企業は代替エネルギー源の探索を進めている。アマゾンは最近、原子力発電所で稼動するデータセンターキャンパスを6.5億ドルで買収した。マイクロソフトは核技術担当役員を採用した。OpenAIのサム・アルトマン氏は、Helion、Exowatt、Okloといったエネルギー系スタートアップを支援している。
AIモデルの訓練という視点から見ると、エネルギーと計算能力はどちらも商品に過ぎない。B100ではなくH100を選ぶこと、あるいは従来型エネルギーではなく原子力を選ぶことが、訓練プロセスをより安価・迅速・効率的にはするかもしれないが、モデルの品質には影響しない。言い換えれば、最も知的かつ人間に近いAIモデルを開発する競争において、エネルギーと計算能力は基本条件ではあるが、決定的な要素ではない。
真の鍵となるリソースはデータである。
ジェームズ・ベッカー氏はOpenAIのリサーチエンジニアであり、本人曰く「誰よりも多くの生成モデルを訓練してきた」。彼はあるブログ記事で、「十分な時間、同じデータセット上で訓練すれば、ほぼすべてのモデルは十分な重みと訓練時間を通じて最終的に同じ地点に収束する」と述べている。つまり、AIモデルを互いに差別化するのは、アーキテクチャでもGPUでもエネルギーでもなく、**データセット**なのである。
「ChatGPT」「Claude」「Mistral」「Lambda」というモデル名を挙げるとき、我々が話しているのはそのアーキテクチャや使用GPU、消費エネルギーではなく、**訓練に使われたデータセット**なのだ。
もしデータがAI訓練のための食糧なら、モデルとはまさにその食物によって形作られている。
最先端の生成モデルを訓練するには一体どれほどのデータが必要か？答えは「非常に大量」である。
今なお公開されてから1年以上経っても最高レベルとされるGPT-4は、推定で12兆トークン（約9兆単語）のデータで訓練されたとされる。これらのデータは、Wikipedia、Reddit、Common Crawl（無料で利用可能なオープンなウェブクロールデータリポジトリ）、100万時間以上のYouTube文字起こしデータ、GitHubやStack Overflowなどのコードプラットフォームなど、公開インターネットからのクロールによって得られた。
これがすでに膨大だと思うだろう。だが待ってほしい。生成AIの分野には「チンチラ・スケーリング則（Chinchilla Scaling Laws）」と呼ばれる概念があり、これは与えられた計算予算に対して、大きなモデルを小さなデータセットで訓練するよりも、小さなモデルを大きなデータセットで訓練した方が効率的であることを意味する。AI企業が次世代モデル（GPT-5やLlama-4など）の訓練に投入すると見込まれる計算リソースを外挿すれば、これらのモデルは5～6倍の計算能力を必要とし、最大100兆トークンのデータで訓練される可能性がある。
公開されているインターネットの大部分のデータはすでにクロールされ、インデックスされ、既存モデルの訓練に使われてしまった。追加のデータはどこから来るのだろうか？これはAI企業にとって最前線の研究課題となっている。解決策は二つある。一つは合成データの生成、つまり人間ではなくLLMs自体が直接生成するデータを使う方法だ。しかし、こうしたデータがモデルをより賢くするのに有効かどうかは、まだ検証されていない。
もう一つの方法は、合成生成ではなく、単純に高品質なデータを探すというものだ。しかし、追加データの獲得は困難を極める。なぜなら、AI企業が直面する課題は、将来のモデル訓練だけでなく、現在のモデルの有効性にも脅威を与えているからだ。
最初のデータ問題は法的問題に関係している。 AI企業は「公開されているデータ」を使っていると主張するが、その多くは著作権で保護されたものだ。例えば、Common Crawlデータセットには『ニューヨーク・タイムズ』や『アソシエーテッド・プレス（AP）』といった出版物の数百万件の記事や、他の著作権保護された素材が含まれている。
一部の出版機関やクリエイターは、AI企業に対して著作権および知的財産権侵害で訴訟を起こしている。『ニューヨーク・タイムズ』は、「独自で価値ある作品を違法に複製・使用した」としてOpenAIとマイクロソフトを提訴した。プログラマーたちのグループも集団訴訟を起こし、GitHub Copilot（人気のAIプログラミングアシスタント）の訓練にオープンソースコードを使用することの合法性に疑問を呈している。
コメディアンのサラ・シルヴァーマンや作家ポール・トランブレーも、許可なく自身の作品が使用されたとしてAI企業を訴えた。
一方で、変化を受け入れるためにAI企業と協力する動きもある。『アソシエーテッド・プレス』『フィナンシャル・タイムズ』アクセル・シュプリンガーはいずれもOpenAIとコンテンツライセンス契約を結んでいる。アップルは、コンデナストやNBCなどの報道機関との類似の契約締結を模索している。グーグルは、モデル訓練のためにRedditのAPIアクセスを得るために年間6000万ドルを支払うことで合意した。Stack OverflowもOpenAIと同様の契約を結んだ。Metaは、AIモデル訓練のための出版社Simon & Schusterの直接買収を検討していたとされる。
こうした取り決めは、AI企業が直面する第二の問題――「オープンネットワークの閉鎖」――と一致している。
インターネットフォーラムやソーシャルメディアサイトは、自社プラットフォームのデータを使ってAI企業がモデルを訓練することで生じる価値を認識しつつある。グーグル（そして将来的には他のAI企業）との契約を結ぶ以前に、Redditはこれまで無料提供していたAPIに料金を設定し始め、人気のサードパーティクライアントを終了させた。同様に、TwitterもAPIアクセスを制限し、価格を引き上げた。イーロン・マスクは、自らのAI企業xAIのモデル訓練にTwitterのデータを利用している。
小規模な出版物、同人誌フォーラム、広告による収益化（もしあれば）を通じて誰でも無料でコンテンツを消費できるようなインターネットのニッチな一角ですら、今や閉ざされつつある。インターネットはかつて、誰もが独自の趣味や癖を共有できる部族を見つけられる魔法のようなサイバースペースと描かれた。その魔力が、ゆっくりと失われつつあるように思える。
こうした訴訟の脅威、多額のコンテンツ取引の増加、オープンネットワークの閉鎖には、二つの含意がある。
-
第一に、データ戦争は明らかに巨大テック企業に有利に傾いている。スタートアップや中小企業は、かつて利用可能だったAPIにアクセスできず、法的リスクなしに使用権を購入する資金もない。これは明白な集中化を促進し、裕福な者が最良のデータを買い、最良のモデルを作り、さらに裕福になる。
-
第二に、ユーザー生成コンテンツプラットフォームのビジネスモデルが、ますますユーザーに不利になっている。RedditやStack Overflowのようなプラットフォームは、報酬を受けない何百万人もの人間クリエイターと管理者の貢献に依存している。しかし、こうしたプラットフォームがAI企業と数百万ドル規模の契約を結んでも、彼らはユーザーに補償せず、同意を求めることさえしない。ユーザーがいなければ、売るデータなど存在しないのに。
RedditとStack Overflowはいずれも、こうした決定に対して顕著なユーザー抗議行動を経験した。連邦取引委員会（FTC）も、Redditがユーザー投稿を外部組織に売却・ライセンス・共有してAIモデル訓練に利用している行為について調査を開始している。
こうした問題は、次世代AIモデルの訓練だけでなく、インターネットコンテンツの将来にも関連している。現状のまま進めば、未来はあまり楽観できない。暗号技術は、中小企業やインターネットユーザーに公平な競争環境を提供し、こうした問題の一部を解決できるだろうか？
データパイプライン
AIモデルの訓練や有用なアプリケーションの開発は、数ヶ月の計画、リソース配分、実行が必要な、複雑かつ高価な作業である。このプロセスには複数の段階があり、それぞれ異なる目的とデータ要件を持つ。
これらの段階を分解し、暗号技術がどのようにAI全体のパズルに適合するかを理解してみよう。
プリトレーニング
プリトレーニングはLLM訓練プロセスの最初の段階であり、最もリソースを消費するステップで、モデルの基盤を形成する。この段階では、AIモデルが大量のラベルなしテキストで訓練され、世界に関する一般的知識や言語使用の情報を捉える。GPT-4が12兆トークンのデータで訓練されたと言ったとき、それはこのプリトレーニングに使われたデータを指している。
なぜプリトレーニングがLLMの基礎なのかを理解するには、LLMの動作原理に対する概観が必要だ。注意してほしい。これはあくまで簡略化された説明である。より詳細な解説はJon Stokes氏の優れた記事、Andrej Karpathy氏の興味深い動画、Stephen Wolfram氏の素晴らしい解説などで読める。
LLMsは「Next-Token Prediction（次トークン予測）」と呼ばれる統計的手法を使用する。簡単に言えば、一連のトークン（単語）が与えられると、モデルは次の最も可能性の高いトークンを予測しようとする。このプロセスが繰り返され、完全な応答が形成される。したがって、大規模言語モデルを「完文機械」と見なすことができる。
具体例で理解してみよう。
私がChatGPTに「What direction does the sun rise from?（太陽はどの方向から昇る？）」と尋ねると、まず「the」という単語を予測し、その後「sun rises from the East」という文の各単語を順に予測していく。しかし、これらの予測はどこから来るのだろうか？ChatGPTはどうやって「the sun rises from」の後に「the East」が来て「the West」や「the North」、「Amsterdam」ではないと判断するのか？言い換えれば、「the East」が他の選択肢より統計的に可能性が高いとどうやって知るのか？
答えは、大量の高品質訓練データから統計的パターンを学習することにある。 インターネット上のすべてのテキストを考慮した場合、「太陽は東から昇る」と「太陽は西から昇る」のどちらがより頻繁に出現するだろうか？後者は文学的比喩（「太陽が西から昇ると信じるのと同じくらい馬鹿げている」）や他の惑星に関する議論（金星では実際に西から昇る）などの特定の文脈では登場するかもしれない。だが全体としては、前者の方が圧倒的に多い。
次単語の予測を繰り返すことで、LLMは世界に関する一般的な理解（いわゆる常識）と、言語の規則・パターンに対する理解を形成する。別の見方をすれば、LLMはインターネットの「圧縮版」とも言える。これにより、データが大量であること（より多くのパターンを選べる）と高品質であること（パターン学習の精度向上）の両方がなぜ重要か理解しやすくなる。
しかし前述の通り、AI企業はより大きなモデルを訓練するためのデータを枯渇しつつある。訓練データの需要の伸びは、オープンインターネットにおける新規データ生成速度をはるかに上回っている。訴訟の接近と主要フォーラムの閉鎖により、AI企業は深刻な問題に直面している。
中小企業にとっては、この問題はさらに深刻だ。Redditのような専有データ提供者と数百万ドル規模の取引を行う余裕がないからだ。
ここに登場するのがGrass（グラス）だ。去中心化住宅プロキシプロバイダーであり、こうしたデータ問題の解決を目指している。彼らは自らを「AIのデータ層」と称している。まず、住宅プロキシプロバイダーとは何かを理解しよう。
インターネットは訓練データの最良の出所であり、クロールすることが企業がデータを入手する主な手段だ。実際には、クローリングソフトウェアはスケール、利便性、効率性のためにデータセンター内でホスティングされる。しかし、価値あるデータを持つ企業は、そのデータがAIモデル訓練に使われることを望んでいない（報酬を得られない限り）。これを制限するために、彼らは通常、既知のデータセンターのIPアドレスをブロックし、大規模なクローリングを防ぐ。
ここで住宅プロキシプロバイダーが登場する。ウェブサイトは、既知のデータセンターのIPアドレスのみをブロックし、あなたや私のような一般ユーザーの接続はブロックしない。つまり、私たちのインターネット接続（住宅インターネット接続）が価値を持つのだ。住宅プロキシプロバイダーは、こうした接続を何百万も集め、AI企業向けに大規模なデータクローリングを行う。
しかし、中央集権的な住宅プロキシプロバイダーは非透明に運営されている。彼らは通常、意図を明確にしない。ユーザーが自分の帯域幅が使われていることを知ったら、共有を拒否するかもしれない。もっと悪いことに、使用した帯域幅に対する報酬を要求するかもしれない。それは利益を減らす。
利益を守るために、住宅プロキシプロバイダーは、スマホのツールアプリ（電卓や音声録音機）、VPNプロバイダー、さらには消費者向けテレビのスクリーンセーバーなど、広く配布された無料アプリに、帯域幅を消費するコードをバンドルしている。ユーザーは無料製品を得ていると思っているが、実際には第三者の住宅プロバイダーが帯域幅を消費している（こうした詳細は、ほとんど読まれない利用規約に隠されていることが多い）。
最終的に、こうしたデータの一部がAI企業に流れ込み、彼らはそれをモデル訓練に使い、自らの価値を創出する。
Andrej Radonjic氏は、自ら住宅プロキシプロバイダーを経営する中で、こうした手法の非倫理性とユーザーへの不公平性に気づいた。彼は暗号技術の進展を見て、より公正な解決策を構築する方法を見出した。それが2022年末に設立されたGrassの誕生である。数週間後、ChatGPTがリリースされ、世界を変え、Grassをまさに時流に乗せた。
他の住宅プロキシプロバイダーが使う隠蔽的な戦略とは異なり、GrassはユーザーにAIモデル訓練のための帯域幅使用について明示的に通知する。その見返りとして、ユーザーは直接報酬を得る。このモデルは住宅プロキシプロバイダーの運営方式を逆転させる。自発的に帯域幅を提供し、ネットワークの一部所有者となることで、ユーザーは受動的な参加者から能動的な支持者へと変わる。これによりネットワークの信頼性が向上し、AIが生み出す価値から利益を得られる。
Grassの成長は目覚ましい。2023年6月のローンチ以来、ブラウザ拡張機能やモバイルアプリをインストールしてノードを実行し、帯域幅を提供する200万人以上のアクティブユーザーを獲得した。こうした成長は外部マーケティング費用をかけずに達成され、非常に成功した紹介プログラムのおかげだ。
Grassのサービスを使うことで、大手AIラボからオープンソースのスタートアップまで、さまざまな企業が低コストで訓練データのクローリングができる。同時に、一般ユーザーはインターネット接続を共有することで報酬を得られ、成長するAI経済の一部になれる。
生のクロールデータに加えて、Grassは顧客にいくつかの付加価値サービスを提供している。
第一に、非構造化されたウェブページをAIモデルが処理しやすい構造化データに変換する。この「データクリーニング」と呼ばれる工程は、通常AIラボが負担するリソース集約的な作業だ。構造化され、清潔なデータセットを提供することで、Grassは顧客に対する価値を高めている。さらに、GrassはオープンソースのLLMを訓練し、クローリング、準備、データラベリングのプロセスを自動化している。
第二に、Grassはデータセットに真正性を証明する不可否認の証明を添付している。高品質なデータがAIモデルにとっていかに重要かを考えれば、データセットが悪意のあるウェブサイトや住宅プロキシプロバイダーによって改ざんされていないことをAI企業が確認できる仕組みは極めて重要だ。
この問題の深刻さは、Meta、IBM、ウォルマートなどを含む20社以上からなる非営利組織Data & Trust Allianceが設立されたことからもわかる。この団体は、データの出所を追跡する標準を共同で作り、組織がデータセットが適切で信頼できるかどうかを判断できるようにしている。
Grassも同様の対策を講じている。Grassのノードがウェブページをクロールするたびに、そのページの出所を検証するメタデータも記録する。これらの出所証明はブロックチェーン上に保存され、顧客と共有される（顧客はさらにそのユーザーとも共有できる）。
GrassはSolana上に構築されているが、Solanaは処理量が最大級のブロックチェーンの一つでありながら、すべてのクロールタスクの出所証明をL1上に保存することは現実的ではない。そこでGrassはロールアップ（Solana初のロールアップの一つ）を構築しており、ZKプロセッサーを使って出所証明をまとめて処理し、その後Solanaに公開する。このロールアップこそがGrassが「AIのデータ層」と呼ぶもので、彼らのすべてのクロールデータの台帳となる。
GrassのWeb3ファーストなアプローチは、中央集権的住宅プロキシプロバイダーよりもいくつかの利点を持っている。第一に、報酬を使ってユーザーが自発的に帯域幅を共有するよう促すことで、AIが生み出す価値をより公正に分配できる（同時に、コードをバンドルするアプリ開発者に支払うコストも節約できる）。第二に、「合法トラフィック」を提供することで、業界内でのプレミアム価格を請求できる。
「合法トラフィック」に注力するもう一つのプロトコルがMasa（マサ）だ。このネットワークは、ユーザーがReddit、Twitter、TikTokなどのソーシャルメディアプラットフォームのログイン情報を渡すことを可能にする。ネットワーク上のノードは、これらのプラットフォームから高度に文脈に即した最新データをクロールする。このモデルの利点は、収集されるデータが一般ユーザーがソーシャルメディア上で実際に見る内容であることだ。リアルタイムで、感情や流行になりそうなコンテンツを説明する豊かなデータセットを入手できる。
こうしたデータセットの主な用途は二つある。
-
金融 - 数千人がソーシャルメディア上で見ている内容が把握できれば、それに基づいて取引戦略を開発できる。Masaのデータセット上で、感情データを利用する自律型エージェントを訓練できる。
-
ソーシャル - AIコンパニオン（Replikaのようなツール）の登場は、人間らしい会話を模倣するデータセットが必要であることを意味する。こうした会話には最新情報も必要だ。Masaのデータストリームは、最新のTwitterトレンドについて有意義に議論できるエージェントの訓練に使える。
Masaのアプローチは、ユーザーの同意を得て閉鎖された庭園（Twitterなど）から情報を取得し、開発者がアプリを構築できるようにすることだ。こうしたソーシャル重視のデータ収集方法は、地域言語に基づくデータセットの構築も可能にする。
例えば、ヒンディー語を話すロボットは、ヒンディー語で運用されるソーシャルネットワークから取得したデータを使える。こうしたネットワークが開く応用の可能性は、まだ探求の余地がある。
モデルアラインメント
プリトレーニングされたLLMは、まだ実用化できる段階ではない。考えてみてほしい。今のモデルが知っているのは「次の単語を予測する」ことだけだ。もしプリトレーニングされたモデルに「中本聪是谁（中本聡は誰か）」というテキストを与えると、以下のすべてが有効な応答になってしまう：
-
質問を完了する：中本聡？
-
句を文にする：ビットコイン信仰者を長年にわたって悩ませてきた問題である。
-
実際に質問に答える：中本聡とは、最初の分散型暗号通貨であるビットコインおよびその基盤技術であるブロックチェーンを作成した匿名の人物またはグループである。
有用な回答を提供するLLMは三番目の応答をするはずだ。しかし、プリトレーニングされたモデルは一貫性のある正しい回答を出せない。実際、しばしば最終ユーザーにとって意味のない文字列をランダムに出力してしまう。最悪の場合、モデルは事実に反する、有害で毒のある情報を秘匿的に出力する。こうした場合、モデルは「ハルシネーション（幻覚）」を起こしている。
これがプリトレーニングされたGPT-3が質問に答える方法である
モデルアラインメントの目的は、プリトレーニングされたモデルを最終ユーザーにとって有用なものにすることだ。つまり、単なる統計的テキスト完成ツールから、ユーザーのニーズを理解し、それに沿った一貫性があり、有用な会話ができるチャットボットへと変貌させることである。
対話微調整（Dialogue Fine-Tuning）
このプロセスの第一歩は対話微調整である。微調整とは、事前に訓練された機械学習モデルを基に、より小さく、ターゲットを絞ったデータセット上でさらに訓練し、特定のタスクやユースケースに適応させるプロセスだ。LLMの訓練において、この特定のユースケースは「人間らしい会話」を行うことである。自然なことだが、この微調整用のデータセットは、モデルにどう振る舞うべきかを示す人間が生成した「プロンプト-応答」のペアからなる。
こうしたデータセットは、質問応答、要約、翻訳、コード生成など、さまざまなタイプの対話をカバーしており、通常は高学歴の人間（時にはAI導師と呼ばれる）によって設計される。彼らは優れた言語スキルと専門知識を持つ。
GPT-4のような最先端モデルは、推定で約10万組のこうしたプロンプト-応答ペアで訓練されている。
プロンプト-応答ペアの例
人間のフィードバックによる強化学習（RLHF）
このステップは、人間がペットの犬を訓練するのに似ている：良い行動には報酬を与え、悪い行動には罰を与える。モデルにプロンプトを与え、その応答を人間のラベラーと共有する。ラベラーは出力の正確性と質に基づき評価を行う（例：1～5点）。RLHFの別の形式は、一つのプロンプトから複数の応答を生成し、人間のラベラーが最良から最悪まで順位付けする方法だ。
RLHFタスクの例
RLHFは、モデルを人間の好みや期待する行動に導くことを目的としている。実際、ChatGPTユーザーであれば、あなた自身がRLHFのラベラーとして使われている！モデルが時々二つの応答を生成し、どちらが良いか選ぶように求められるときに起きる現象だ。
あるいは、回答の有用性を評価する簡単な「いいね」「悪いね」アイコンですら、モデルにとっては一種のRLHF訓練になる。
AIモデルを使うとき、背後には何百万時間もの人間労働が投入されているとは考えにくい。これはLLMに特有の要請ではない。歴史的にも、コンテンツモデレーション、自動運転、腫瘍検出など、伝統的な機械学習のユースケースでも、大量の人間によるデータラベリングが必要だった。（2019年の『ニューヨーク・タイムズ』の素晴らしい記事は、iAgentインドオフィスの舞台裏を紹介している。この会社は人間ラベリングに特化している）。
ImageNetデータベース構築にFei-Fei Li氏が使ったMechanical Turkは、Jeff Bezos氏によって「人工のAI」と呼ばれた。AI訓練における彼らのスタッフの裏方的役割に由来する。
今年初めの奇妙な物語では、アマゾンのJust Walk Outストア（顧客が棚から商品を取り、そのまま出て行くだけで後で自動課金される）は、ある種の高度なAIによって駆動されているのではなく、1000人のインドの契約社員が店舗の映像を手動で精査していたことが判明した。
要するに、あらゆる大規模AIシステムは何らかの形で人間に依存しており、LLMsはこうしたサービスに対する需要をさらに増大させている。OpenAIを顧客に持つScale AIのような企業は、この需要によって110億ドルの評価額に達した。Uberでさえ、ドライバー以外の業務の際にインドの労働者にAI出力をラベリングさせている。
全スタックAIデータソリューションを目指すGrassも、この市場に参入しようとしている。彼らはまもなく、主要製品の拡張としてAIラベリングソリューションをリリースし、ユーザーがRLHFタスクをこなすことで報酬を得られるようにする。
問題は：Grassがこのプロセスを非中央集権的に行うことで、同一領域で数百社が競合する中央集権的企業に対してどのような利点があるかということだ。
Grassは、トークンインセンティブを通じて労働者ネットワークを誘導できる。彼らがユーザーのインターネット帯域幅共有に報酬を与えるトークンを提供するように、AI訓練データのラベリングにも人間を報酬で報いることができる。Web2の世界では、世界的に分布するギグエコノミー労働者に支払うことは、Solanaのような高速ブロックチェーンが提供する即時流動性に比べてユーザーエクスペリエンスが劣る。
暗号コミュニティ、とりわけGrassの既存コミュニティには、教育を受け、インターネットネイティブで、技術に精通したユーザーが大量に存在する。これにより、Grassが労働者の採用・訓練に費やすリソースが削減される。
報酬を得るためにAIモデルの応答をラベリングするタスクが、ボット農場やスクリプトの標的になるのではないかと疑うかもしれない。私もそう思った。幸いにも、多数の研究が行われており、コンセンサス技術を使って高品質なラベラーを特定し、ボットを除外する方法が探られている。
なお、Grassは少なくとも現時点では、会話微調整（高度に専門化された労働力と自動化が難しい物流を要する）ではなく、RLHF市場にのみ参入していることに注意してほしい。
専門的微調整
プリトレーニングとアラインメントのステップを終えると、「ベースモデル」と呼ばれるものが得られる。ベースモデルは世界の仕組みについて一般的な理解を持ち、幅広いトピックで流暢に人間らしい会話ができる。また、言語についても優れた掌握度を持ち、メール、物語、詩、記事、曲の作成などでユーザーを容易に助けることができる。
ChatGPTを使うとき、あなたがやり取りしているのはベースモデルGPT-4である。
ベースモデルは汎用モデルである。何百万ものトピックについてある程度の知識を持っているが、特定の分野に特化しているわけではない。ビットコインのトークノミクスを理解する助けを求められたとき、応答は有用で、ほとんどの場合正確だろう。しかし、EigenLayerのような再ステーキングプロトコルのセキュリティ上のリスクのエッジケースを列挙するように求められたとき、あまり信用してはいけない。
微調整とは、事前に訓練された機械学習モデルを基に、より小さく、ターゲットを絞ったデータセットでさらに訓練し、特定のタスクやユースケースに適応させるプロセスであることを思い出そう。以前、原始的なテキスト完成ツールを対話モデルに変える際の微調整について議論した。同様に、得られたベースモデルをさらに微調整し、特定の分野やタスクに特化させることもできる。
Med-PaLM2はGoogleのベースモデルPaLM-2を微調整した医療分野の質の高い回答を提供するモデルである。MetaMathはMistral-7B上で微調整された数学的推論モデルだ。一部の微調整モデルは物語作成、文章要約、カスタマーサポートなど広範なカテゴリに特化しており、他にはポルトガル語の詩、ヒングリッシュ翻訳、スリランカ法など細分化された分野に特化したものもある。
特定のユースケースにモデルを微調整するには、高品質で関連性の高い分野のデータセットが必要だ。こうしたデータセットは特定のウェブサイト（このニュースレターの暗号データなど）、専有データセット（病院が何千もの医師と患者のやり取りを文字起こしたもの）、または専門家の経験（詳細なインタビューで捉える必要がある）から得られる。
数百万のAIモデルが存在する世界に突入するにつれ、こうした細分化されたロングテールのデータセットはますます価値を持つ。EYのような大手会計事務所からガザのフリーランス写真家に至るまで、こうしたデータセットの所有者は、急速にAI軍拡競争で最もホットな商品となりつつあるデータセットの購入に殺到している。Gulp Dataのようなサービスは、企業が自社データの価値を公正に評価できるようにするために登場した。
OpenAIは「社会を反映する大規模データセット（現在は容易に公開利用できないもの）」を持つ実体との協力を呼びかけるデータパートナー公募を発表したほどだ。
細分化された製品の売り手と買い手をマッチングする優れた方法が一つあることはわかっている。それがインターネットマーケットプレイスだ。eBayはコレクタブルズのために、Upworkは人間の労働のために、無数のプラットフォームが無数のカテゴリのためにマーケットを創出した。驚くべきことではないが、細分化されたデータセットのマーケットも登場しており、その一部は非中央集権的だ。
Bagel は「人工的普遍的インフラ」を構築しており、高品質で多様なデータを持つ者が、信頼不要かつプライバシー保護の方法でAI企業とデータを共有できるツール群を提供している。彼らはゼロ知識証明（ZK）や完全準同型暗号（FHE）などの技術を活用している。
企業はしばしば高価値なデータを持つが、プライバシーまたは競争上の問題からそれを収益化できない。例えば、研究ラボは大量のゲノムデータを持つが、患者のプライバシー保護のため共有できない。あるいは、消費財メーカーはサプライチェーンの廃棄物削減データを持つが、競争上の機密を漏らさずに開示できない。Bagelは暗号技術の進歩を利用して、こうしたデータセットを有用にしながら、付随する懸念を排除する。
Grassの住宅プロキシサービスも、専門的なデータセットの作成に役立つ。例えば、料理の専門アドバイスを提供するモデルを微調整したい場合、GrassにRedditのr/Cookingやr/AskCulinaryなどのサブレディットをクロールするよう依頼できる。同様に、旅行志向のモデルの開発者は、TripAdvisorフォーラムのデータをクロールするようGrassに依頼できる。
これらは完全に専有データ源ではないが、それでも他のデータセットの貴重な補足となる。Grassはさらに、ネットワークを利用してアーカイブ済みデータセットを作成し、任意の顧客が再利用できるようにする計画もある。
コンテキストレベルのデータ
お気に入りのLLMに「あなたの訓練の締切日はいつですか？」と尋ねてみてほしい。「2023年11月」のような答えが返ってくるだろう。つまり、ベースモデルはその日までの情報しか提供できないということだ。これらのモデル（微調整を含む）の訓練がどれほど計算集約的で時間のかかる作業かを考えれば、これは理解できる。
常に最新情報を維持するには、毎日新しいモデルを訓練・展
TechFlow公式コミュニティへようこそ
Telegram購読グループ：https://t.me/TechFlowDaily
Twitter公式アカウント：https://x.com/TechFlowPost
Twitter英語アカウント：https://x.com/BlockFlow_News
@Decentralisedco
