孤島から協調へ：Web3ネイティブデータパイプラインの意義

2023.08.11

共有先

TechFlow厳選深潮セレクト

孤島から協調へ：Web3ネイティブデータパイプラインの意義

Web3市場においてデータパイプラインを構築することは、分散化という特徴を持つことに加えて、これらの機会を実際に捉えるための出発点として重要な役割を果たすことができる。

2023.08.11 - 09:22:02

Web3業界の深掘り報道に専念し潮流を洞察

執筆：Jay : : FP

編集・翻訳：TechFlow

2008年にビットコインのホワイトペーパーが発表されて以来、信頼という概念に対する見方が再考されるようになった。その後、ブロックチェーンはその定義を「信頼不要（trustless）」なシステムという概念にまで拡大し、急速に発展した。個人の主権、金融の民主化、所有権といったさまざまな価値が既存のシステムに適用可能であると考えられるようになったのである。もちろん、ブロックチェーンが実際に応用される前に、さまざまな既存システムとの比較においてやや急進的に見える特徴があるため、検証や議論が大量に必要となるだろう。しかし、これらのシナリオに対して楽観的であれば、データパイプラインを構築し、ブロックチェーンストレージに含まれる貴重な情報を分析することは、業界発展におけるもう一つの重要な転換点となり得る。なぜなら、これまで存在しなかったWeb3ネイティブのビジネスインテリジェンスを観察できるようになるからだ。

本稿では、既存のIT市場で一般的に使用されるデータパイプラインをWeb3環境に投影することで、Web3ネイティブなデータパイプラインの可能性を探る。また、こうしたパイプラインの利点、解決すべき課題、そして業界への影響についても考察する。

1. 情報革新から生じる特異点

「言語は、人間と下等動物との間の最も重要な違いの一つである。それは単なる発音能力ではなく、明確な音声と明確な思想を結びつけ、それらの音声を思想交換の記号として用いることにある。」

― ダーウィン

歴史を通じて、人類文明の大きな進歩は情報共有の革新とともに起こってきた。私たちの祖先は口頭および文字による言語を使い、互いにコミュニケーションを取り、知識を次世代に伝えてきた。これにより、他の種に対して大きな優位性を得たのである。書記、紙、印刷術の発明は、より広範な情報共有を可能にし、科学、技術、文化の著しい進歩につながった。特にグーテンベルク聖書の金属活字印刷は分水嶺的存在であり、書籍や印刷物の大規模生産を可能にした。これは宗教改革、民主主義革命、科学的進歩の始まりに深い影響を与えた。

2000年代におけるIT技術の急速な発展により、人間行動の理解がさらに深まった。これが生活様式の変化を引き起こし、現代の大多数の人はデジタル情報を基にさまざまな意思決定を行うようになった。このため、我々は現代社会を「ITイノベーション時代」と呼んでいる。

インターネットの全面的な商業化からわずか20年後、AI技術が再び世界を驚かせている。人的労働を代替可能なアプリケーションが多数登場し、AIが文明を変えることが議論されている。中には否定的な立場に立ち、「このような技術が社会の基盤を揺るがすほど急速に登場するとはどうして可能なのか」と疑問を持つ人々さえいる。半導体の性能が時間とともに指数関数的に向上するという「ムーアの法則」があったとしても、GPTの出現による変化はあまりにも突然で、すぐに対処するのは難しい。

しかし興味深いことに、GPTモデル自体はそれほど画期的なアーキテクチャではない。一方で、AI業界はGPTモデルの成功要因として以下の2点を挙げている。1）大規模顧客層を対象としたビジネス領域を明確に定義すること、2）データ収集から最終結果、そして結果に基づくフィードバックに至るまでのデータパイプラインを通じたモデルチューニング。要するに、サービス提供の目的を明確にし、データ／情報処理プロセスをアップグレードすることで、こうしたアプリケーションはイノベーションを実現できたのである。

2. データ駆動型意思決定の遍在性

私たちが言うほとんどのイノベーションは、機会や直感に基づくものではなく、蓄積されたデータの処理に基づいている。よく言われるように、「資本主義市場では、強い者が生き残るのではなく、生き残った者が強くなる」。今日の企業競争は激しく、市場は飽和している。そのため、企業は最小限のニッチであってもつかむために、さまざまなデータを収集・分析している。

シュumpーター（注：経済学者ヨーゼフ・シュumpーター）の「創造的破壊」理論にあまりにも没頭し、直感による意思決定を過度に重視してきたかもしれない。しかし、卓越した直感でさえも、最終的には個人が蓄積したデータと情報の産物なのである。今後、デジタル世界は私たちの生活にさらに深く浸透し、ますます多くのセンシティブな情報がデジタルデータの形で現れるようになるだろう。

Web3市場は、ユーザーが自身のデータを制御できる可能性があることから注目を集めている。しかし、Web3の基盤技術であるブロックチェーン分野は、現在、三つのジレンマ（注：セキュリティ、非中央集権化、スケーラビリティの三角問題）の解決に重点を置いている。新しい技術が現実世界で説得力を持つためには、多様な方法で利用可能なアプリケーションやインテリジェンスを開発することが重要である。これはすでにビッグデータ分野で見られたことであり、2010年頃からビッグデータ処理およびデータパイプライン構築の方法論は著しい進展を遂げてきた。Web3の文脈では、データ駆動型のインテリジェンスを生み出すためのデータフロー体制を構築し、業界の発展を推進することが求められる。

3. チェーン上データフローに基づく機会

では、Web3ネイティブなデータフローシステムからどのような機会を捉えられ、それらを掴むためにどのような課題を克服する必要があるのか？

3.1 利点

簡潔に言えば、Web3ネイティブなデータフローシステムを構成する価値は、信頼できるデータを複数のエントティに安全かつ効率的に配布でき、そこから貴重な洞察を抽出できることにある。

データ冗長性 ― プロトコルネットワークがデータの断片を複数のノードに保存するため、チェーン上のデータは失われにくく、耐障害性が高い。
データの安全性 ― 分散されたノード群によって検証され、合意形成されたチェーン上のデータは改ざん耐性を持つ。
データ主権 ― データ主権とは、ユーザーが自身のデータを所有し、制御する権利のこと。チェーン上データフローを通じて、ユーザーは自分のデータがどのように使われているかを確認でき、正当なアクセスが必要な相手だけと共有する選択ができる。
許可不要性と透明性 ― チェーン上のデータは透明かつ改ざん耐性がある。これにより、処理中のデータも信頼できる情報源であることが保証される。
安定稼働 ― データフローが分散環境でプロトコルによって調整される場合、単一障害点がないため、各レベルでの停止リスクが大幅に低下する。

3.2 アプリケーションケース

信頼は異なるエントティが相互に作用し、意思決定を行う基盤である。したがって、信頼できるデータが安全に配布できるということは、さまざまなエントティが参加するWeb3サービスを通じて多くのインタラクションや意思決定が可能になることを意味する。これにより社会的資本を最大化でき、以下のような応用例が考えられる。

3.2.1 サービス／プロトコル応用

ルールベースの自動意思決定システム ― プロトコルはサービス運営のための重要なパラメータを使用する。これらのパラメータは定期的に調整され、サービス状態を安定させ、最適なユーザーエクスペリエンスを提供する。しかし、プロトコルは常にサービス状態を監視し、パラメータを動的に即時変更することはできない。ここにチェーン上データフローの役割がある。リアルタイムでサービス状態を分析し、サービス要件に合致する最適なパラメータセットを提案できる（例えば、貸借プロトコルに自動変動金利メカニズムを適用）。
信用市場の拡大 ― 伝統的に、信用は金融市場で個人の返済能力を測るために使用されてきた。これは市場効率を高める。しかし、Web3市場では信用の定義がまだ明確ではない。個人データが不足しており、業界間でのデータガバナンスが欠如しているため、情報の統合と収集が困難だからである。チェーン上で断片化されたデータを集約・処理するプロセスを構築することで、Web3市場における信用市場を再定義できる（例：SpectralのMACRO（マルチアセット信用リスクオラクル）スコア）。
分散型ソーシャル／NFTの拡張 ― 分散型社会は、ユーザーのコントロール、プライバシー保護、検閲耐性、コミュニティガバナンスを重視する。これは代替的な社会パラダイムを提供する。そのため、さまざまなメタデータをより円滑に管理・更新し、プラットフォーム間の移行を促進するパイプラインを構築できる。
不正検出 ― スマートコントラクトを利用するWeb3サービスは、資金窃取、システム侵入、脱リンク、流動性攻撃などの悪意ある攻撃を受けやすい。こうした攻撃を事前に検出できるシステムを構築すれば、Web3サービスは迅速な対応計画を立て、ユーザーを保護できる。

3.2.2 協働とガバナンスの取り組み

完全チェーン上DAO ― 分散型自律組織（DAO）は、ガバナンスの効果的な実施と公共資金の管理に大きく依存しているが、現在はチェーン外ツールに依存している。チェーン上データ処理プロセスを構築し、DAO運営の透明なプロセスを作成することで、Web3ネイティブDAOの価値をさらに高めることができる。
ガバナンス疲労の緩和 ― Web3プロトコルの意思決定は通常コミュニティガバナンスを通じて行われる。しかし、地理的障壁、監視のプレッシャー、ガバナンスに必要な専門知識の不足、ランダムに公開されるガバナンスアジェンダ、使いにくいUXなど、参加者にとって参加が困難になる要因が多数ある。ユーザーが個別のガバナンスアジェンダを理解し、実際に実施するプロセスを簡素化できるツールがあれば、プロトコルガバナンスフレームワークはより効率的かつ効果的に機能できる。
共同作品のオープンデータプラットフォーム ― 既存の学術界や産業界では、多くのデータや研究資料が公開されていないため、市場全体の発展が非常に非効率的になりがちである。一方、チェーン上データプールは誰にでも透明でアクセス可能であるため、既存市場よりも多くの協働イニシアティブを促進できる。多くのトークン標準やDeFiソリューションの発展が良い例である。さらに、さまざまな目的のためにパブリックデータプールを運営できる。

3.2.3 ネットワーク診断

指数的研究 ― Web3ユーザーはプロトコルの状態を分析・比較するためにさまざまな指標を作成する。複数の客観的指標を研究し、リアルタイムで表示できる（例：Nakaflowの中本聡係数）。
プロトコル指標 ― アクティブアドレス数、取引数、資産の流入／流出、ネットワークが生成する手数料などのデータを処理することで、プロトコルのパフォーマンスを分析できる。これらの情報は特定のプロトコルアップデートの影響、MEVの状況、ネットワークの健康状態の評価に使用できる。

3.3 課題

チェーン上データは業界価値を高める独自の利点を持つ。しかし、これらの利点を十分に発揮するためには、業界内外で多くの課題を解決する必要がある。

データガバナンスの欠如 ― データガバナンスとは、各データプリミティブの統合を促進するための一貫した共有ポリシーと標準を確立するプロセスである。現在、各チェーン上プロトコルは独自の基準を設け、独自のデータタイプを取得している。しかし、これらのプロトコルデータを統合し、APIサービスをユーザーに提供するエントティ間でのデータガバナンスが欠如している。これによりサービス間の統合が難しくなり、結果としてユーザーは信頼でき包括的な洞察を得ることが困難になる。
コスト効率の低さ ― 冷データをプロトコル内に保存すれば、ユーザーはデータセキュリティやサーバーコストを節約できる。しかし、データ分析で頻繁にアクセスが必要だったり、大量の計算リソースを必要とする場合は、ブロックチェーン上に保存することは費用対効果が悪い可能性がある。
オラクル問題 ― スマートコントラクトは現実世界のデータにアクセスできる場合にのみ真に力を発揮する。しかし、これらのデータは常に信頼できるとは限らない。コンセンサスアルゴリズムによって整合性が維持されるブロックチェーンとは異なり、外部データは確定的ではない。オラクルソリューションは、特定のアプリケーション層に依存せず、外部データの整合性、品質、スケーラビリティを確保するために進化し続けなければならない。
プロトコルは初期段階 ― プロトコルは自らのトークンでユーザーをインセンティブ化し、サービス継続と支払いを促進する。しかし、サービス運用に必要なパラメータ（例：サービスユーザーの正確な定義やインセンティブスキーム）は通常、幼稚に管理されている。つまり、プロトコルの経済的持続可能性を検証するのが難しい。多くのプロトコルが有機的に接続され、データパイプラインを形成しても、パイプラインがうまく機能するかどうかの不確実性はさらに大きくなる。
データ取得速度の遅さ ― プロトコルは多くのノードの合意によってトランザクションを処理するため、従来のITビジネスロジックと比べて情報処理の速度と量が制限される。このボトルネックは、パイプラインを構成するすべてのプロトコルのパフォーマンスが大幅に向上しない限り、解決が難しい。
Web3データの真の価値 ― ブロックチェーンは孤立したシステムであり、現実世界とまだ接続されていない。Web3データを収集する際には、収集されたデータがデータパイプライン構築コストに見合う有意義な洞察を提供できるかを考慮する必要がある。
見慣れない構文 ― 既存のITデータインフラとブロックチェーンインフラは動作方式が大きく異なる。使用されるプログラミング言語さえ異なり、ブロックチェーンインフラは低レベル言語やブロックチェーン特有の新言語を多く使う。これにより、新規開発者やサービス利用者は、それぞれのデータプリミティブを扱うために新しい言語または新しい思考法を学ぶ必要があり、習得が困難になる。

4. パイプライン化されたWeb3データのレゴ

現在、Web3データプリミティブ同士はつながっておらず、それぞれが独立してデータを抽出・処理している。これにより、情報処理の相乗効果を実験することが困難になっている。この問題を解決するため、本稿ではIT市場で一般的に使用されるデータパイプラインを紹介し、既存のWeb3データプリミティブをそのパイプラインにマッピングする。これにより、ユースケースをより具体的に示すことができる。

4.1 一般的なデータパイプライン

データパイプラインの構築は、日常生活で繰り返される意思決定プロセスを概念化・自動化するプロセスに似ている。これにより、人々はいつでも必要な質の情報にアクセスでき、意思決定に使えるようになる。非構造化データが多くなるほど、情報使用頻度が高くなるほど、リアルタイム分析が必要なほど、こうした一連のプロセスを自動化することで、将来の意思決定に必要な主体性を得るための時間とコストを節約できる。

上図は、既存のITインフラ市場でデータパイプライン構築に使用される一般的なアーキテクチャを示している。分析目的に適したデータが正しいデータソースから収集され、データの性質と分析要件に応じて適切なストレージソリューションに保存される。例えば、データレイクはスケーラブルで柔軟な分析に適した生データの保存ソリューションを提供し、データウェアハウスは特定のビジネスロジックに最適化されたクエリと分析のために構造化データを保存することに焦点を当てる。その後、データはさまざまな方法でインサイトや実用的情報に加工される。

各ソリューション層は、パッケージ化されたサービスとして提供されることもある。データ抽出からロードまでの一連のプロセスをつなぐETL（抽出・変換・ロード）SaaS製品群も注目されつつある（例：FiveTran、Panoply、Hivo、Rivery）。順序は常に一方向ではなく、組織の具体的なニーズに応じて各層は多様に相互接続できる。データパイプライン構築で最も重要なのは、各サーバーレイヤーにデータを送受信する際に発生するデータ損失リスクを最小限に抑えることである。これは、サーバーの非結合度を最適化し、信頼性の高いデータ保存・処理ソリューションを使用することで実現できる。

4.2 チェーン上環境を備えたパイプライン

前述のデータパイプラインの概念図は、上図のようにチェーン上環境に適用できる。ただし注意すべきは、各基本コンポーネントが何らかの形で中央集権的なチェーン外ソリューションに依存しているため、完全に非中央集権化されたパイプラインは形成できないことである。また、上図は現時点ですべてのWeb3ソリューションを含んでおらず、分類境界は曖昧な部分もある。例えば、KYVEはストリーミングプラットフォームとしてだけでなく、データレイクの機能を持ち、自体がデータパイプラインと見なせる。また、Space and Timeは非中央集権型データベースに分類されるが、RestAPIやストリーミングといったAPIゲートウェイサービスやETLサービスも提供している。

4.2.1 取得／処理

一般ユーザーまたはdAppがサービスを効率的に使用／操作するためには、取引、状態、ログイベントなど、プロトコル内部で生成されるデータソースを簡単に識別・アクセスできる必要がある。この層では、オラクル、メッセージング、認証、API管理などを含むプロセスを支援するミドルウェアが機能する。主なソリューションは以下の通り。

ストリーミング／インデックスプラットフォーム

Bitquery、Ceramic、KYVE、Lens、Streamr Network、The Graph、各プロトコルのブロックエクスプローラなど。

ノード・アズ・ア・サービスおよびその他のRPC/APIサービス

Alchemy、All that Node、Infura、Pocket Network、Quicknode など。

オラクル

API3、Band Protocol、Chainlink、Nest Protocol、Pyth、Supra Oracle など。

4.2.2 ストレージ

Web2ストレージソリューションと比較して、Web3ストレージソリューションは永続性や非中央集権化といったいくつかの利点を持つ。しかし、高コスト、データ更新やクエリの困難さといった欠点もある。そのため、こうした欠点を解決し、Web3上の構造化・動的データを効率的に処理できるさまざまなソリューションが登場している。各ソリューションの特徴は、扱うデータタイプ、構造化の有無、埋め込みクエリ機能の有無などさまざまである。

非中央集権型ストレージネットワーク

Arweave、Filecoin、KYVE、Sia、Storj など。

非中央集権型データベース

Arweaveベースのデータベース（Glacier、HollowDB、Kwil、WeaveDB）、ComposeDB、OrbitDB、Polybase、Space and Time、Tableland など。

* 各プロトコルは異なる永久保存メカニズムを持つ。例えば、Arweaveはイーサリアムストレージに類似したブロックチェーンベースモデルで、データをチェーン上に永久保存する。一方、Filecoin、Sia、Storjは契約ベースモデルで、データをチェーン外に保存する。

4.2.3 変換

Web3の文脈では、変換層もストレージ層と同様に重要である。なぜなら、ブロックチェーンの構造は基本的に分散ノードの集合体で構成されており、拡張性のあるバックエンドロジックの使用が容易だからである。AI業界では、こうした利点を活かしてフェデレーテッドラーニング分野の研究が積極的に行われており、機械学習・AI操作専用のプロトコルも登場している。

データ訓練／モデリング／計算

Akash、Bacalhau、Bittensor、Gensyn、Golem、Together など。

* フェデレーテッドラーニングとは、元のモデルを複数のネイティブクライアントに分散し、そこに保存されたデータで学習させ、学習されたパラメータを中央サーバーに集めてAIモデルを訓練する手法。

4.2.4 分析／利用

以下に列挙するダッシュボードサービスとエンドユーザー向けのインサイト・分析ソリューションは、特定のプロトコルからさまざまな洞察を観察・発見できるようにするプラットフォームである。一部のソリューションは最終製品向けにAPIサービスも提供している。ただし、これらソリューションのデータは、多くの場合、独自のチェーン外ツールを使ってデータを保存・処理しているため、必ずしも正確ではないことに注意が必要である。また、ソリューション間の誤差も観察される。

同時に、「Web3 Functions」というプラットフォームもあり、Google Cloudなどの中央集権型プラットフォームが特定のビジネスロジックをトリガー・実行するように、スマートコントラクトの実行を自動／トリガーできる。このプラットフォームを使うことで、ユーザーはチェーン上データ処理を通じてインサイトを得るだけでなく、Web3ネイティブな方法でビジネスロジックを実装できる。

ダッシュボードサービス

Dune Analytics、Flipside Crypto、Footprint、Transpose など。

エンドユーザー向けインサイトと分析

Chainalysis、Glassnode、Messari、Nansen、The Tie、Token Terminal など。

Web3 Functions

Chainlink Functions、Gelato Network など。

5. 総括と考察

カントが述べたように、我々は事物の現象しか観察できず、その本質に触れることはできない。それでも我々は「データ」と呼ばれる観察記録を利用して情報を処理し、知識を得てきた。その結果、情報技術の革新が文明の発展をいかに推進してきたかを見てきたのである。したがって、Web3市場において、非中央集権的な特徴に加えて、こうした機会を実際に捉える起点としてデータパイプラインを構築することは極めて重要な役割を果たす。最後に、いくつかの考察で本稿を締めくくりたい。

5.1 ストレージソリューションの役割はさらに重要になる

データパイプラインを持つための最も重要な前提は、データおよびAPIガバナンスの確立である。多様化するエコシステムの中で、各プロトコルが作成する仕様は再作成され続け、マルチチェーンエコシステムによる断片化された取引記録により、個人が包括的な洞察を導き出すのはますます難しくなる。ここで「ストレージソリューション」は、断片化された情報を収集し、各プロトコルの仕様を更新して統一形式で統合データを提供できる存在となる。既存市場ではSnowflakeやDatabricksのようなストレージソリューションがパイプライン内の各層を垂直統合し、業界をリードしながら急速に成長し、大規模な顧客基盤を築いていることが観察されている。

5.2 データソース市場における機会

データがより入手しやすくなり、処理プロセスが改善されると、成功したユースケースが登場し始める。これにより正の循環が生まれ、データソースや収集ツールが爆発的に増える。2010年以降、データパイプライン構築技術が著しく進展した結果、毎年収集されるデジタルデータの種類と量は指数関数的に増加している。この背景をWeb3市場に当てはめれば、将来的にチェーン上で再帰的に多くのデータソースが生成されると予想される。これはブロックチェーンがさまざまなビジネス分野に拡大することを意味する。この点で、Ocean Protocolのようなデータ市場や、Helium、XNETのようなDeWi（非中央集権型ワイヤレス）ソリューション、およびストレージソリューションを通じてデータ収集が進むことが期待できる。