データ革命：非中央集権型ストレージの全貌解明

2023.12.07

共有先

TechFlow厳選深潮セレクト

データ革命：非中央集権型ストレージの全貌解明

2023年6月時点で、分散型ストレージの総容量は22,000PBを超え、ネットワーク利用率は約20％にとどまっている。

2023.12.07 - 09:17:37

Web3業界の深掘り報道に専念し潮流を洞察

2023年6月時点で、分散型ストレージの総容量は22,000PBを超え、ネットワーク利用率は約20％にとどまっている。

TL;DR

分散型ストレージとは、個人や一部のグループが余剰ストレージ容量をストレージネットワークのユニットとして提供することで、AWSやGoogle Cloudなどの中央集権的機関によるデータ支配を回避する仕組みである。

低コストなストレージ、データの冗長バックアップ、トークン経済もまた、分散型ストレージの特徴であり、多数のWeb3アプリケーションがこのインフラ上に構築されている。

2023年6月時点で、分散型ストレージ全体のストレージ容量は22,000PB（ペタバイト）を超えているが、ネットワーク利用率は約20％にとどまっている。これは今後の大きな成長余地を示している。

現在のストレージ容量のうち、約80％以上をFilecoinが提供しており、この分野のリーディングプレイヤーであることは疑いない。Filecoinは、開発者を奨励しエコシステムの発展を促進するため、Filecoin PlusやFVM（Filecoin Virtual Machine）といったプロジェクトも展開している。

人工知能やフルオンチェーンゲームなどの分野の台頭に伴い、分散型コンピューティングおよびストレージ市場には、非常に有望な成長機会が訪れるだろう。

1. なぜ分散型ストレージが必要なのか

DropboxやGoogle Cloudのようなクラウドストレージサービスは、オンラインで動画や写真など大容量ファイルを保存・共有する方法を一変させた。これらにより、新しいハードディスクを購入するよりもはるかに低いコストで数TBのデータを保存でき、いつでもどのデバイスからでもファイルにアクセスできるようになった。しかし、問題もある。ユーザーは中央集権的な運営主体に依存せざるを得ず、その企業が突然アカウントの利用を停止したり、政府機関とファイルを共有したり、理由なくファイルを削除する可能性がある。このようなストレージモデルでは、データ資産の所有権が不明確になり、実質的にAmazonやGoogleといった巨大IT企業がデータを独占することになる。さらに、中央集権型サービスのダウンタイムは、しばしば壊滅的な影響を及ぼす。

実は、ストレージ分野は元来、分散型アプリケーションに適した領域である。第一に、ユーザーのデータプライバシーと所有権という課題を解決できる。分散型ファイルサービスに保存されたファイルは、政府機関のようにコンテンツの統制や検閲を試みる中央集権的組織の影響を受けない。民間企業による検閲や、法執行機関へのファイル共有といった行為も防げる。

第二に、膨大なデータの索引自体が分散型システムを必要とする。既存の中央集権型クラウドサービスもSpannerやTiDBなど、分散型のソリューションを採用している。つまり「分散型」と「去中心化」は同義ではないが、「去中心化」は常に「分散型」である。中央集権型ストレージとは異なり、現在の分散型ソリューションでは、データを小断片に分割し暗号化した上で世界中の複数ノードに保存する。このプロセスにより、データの複数コピーが作成され、データ損失からの回復力が向上する。

第三に、無駄なマイニングによるリソース消費を解消できる。ビットコインのPoW（プルーフ・オブ・ワーク）方式による大量の電力消費は長く批判されてきたが、分散型ストレージでは、ユーザーが自身の空きストレージリソースを使ってノードとなり、マイニングを行い報酬を得ることができる。多数のストレージノードが存在すればコストも下がり、将来的には分散型ストレージがWeb2のクラウドサービス市場の一部を奪う可能性もある。ネットワーク帯域やハードウェア技術が進化する中で、これは極めて巨大な市場である。Business Research社の予測によると、2028年までにグローバルのデータベース市場は1200億ドルを超える見込みだ。

2. 分散型ストレージのアーキテクチャ

真に分散型のアプリケーションを構築するには、分散型データベースもWeb3アプリケーションアーキテクチャに含まれるべきである。これには主に4つの構成要素がある：スマートコントラクト層、ファイルストレージ、データベース、汎用インフラ層。

スマートコントラクト層はL1相当であり、汎用インフラ層にはオラクル、RPC、アクセス制御、アイデンティティ、オフチェーン計算、インデックスネットワークなどが含まれる。

ユーザーにとって直接的な実感はないが、ファイルストレージとデータベース層はWeb3アプリケーション開発において極めて重要な役割を果たしている。これらは構造化・非構造化データの保存に必要な基盤を提供しており、多くのアプリケーションの要件となっている。本稿の性質上、以下ではこれらの2つの構成要素について詳しく説明する。

2.1 分散型ファイルストレージネットワーク (DFSNs)

Filecoin、Arweave、CrustなどのDFSNは、主に非構造化データの永続的保存に使用される。これらのデータは事前定義された形式に従わず、頻繁な更新や取得も不要である。そのため、DFSNは主に文書、画像、音声、動画などの静的データの保存に使われる。

分散型ストレージアーキテクチャにおけるこの種のデータの利点は、エッジストレージ装置やエッジデータセンターを活用して、データをエンドユーザーに近い場所に配置できることにある。この方法により、ネットワーク通信コスト、相互作用遅延、帯域負荷を低減できる。適応性と拡張性も高まる。例えばStorjの場合、1TBあたりの月額ストレージ料金は4.00ドルだが、市場トップのエンタープライズクラウドストレージサービスであるAmazon S3は、同じ量のデータに対して約23.00ドルの月額料金を請求している。

伝統的な中央集権型クラウドストレージと比較して、ユーザーはよりコスト効率の高いストレージ選択肢を利用できる。DFSNの分散型特性は、データが単一の中央サーバーではなく、複数のノードまたはマイナーに分散して保存されるため、高いデータセキュリティ、プライバシー、制御性も提供する。

2.2 分散型データベース

DFSNでの非構造化ファイルの保存には、効率的なデータ取得・更新の面で明らかな限界がある。頻繁に更新されるデータには、これらのアーキテクチャは最適ではない。このような場合、MySQLやRedisなどの従来型データベースの方が開発者にとって適している。これらはWeb2.0時代に広く最適化・テストされている。

特にブロックチェーンゲームやSNSなどのアプリケーションでは、構造化データの保存が避けられない要件となる。従来型データベースは、大量の動的データを管理し、アクセスを制御するための効果的な手段を提供する。インデックス、クエリ、データ操作などの機能は、構造化データに依存するアプリケーションにとって不可欠である。したがって、DFSNベースであれ独自開発のストレージであれ、高性能・高可用性の分散型データベースは、ストレージ分野において極めて重要な分岐となる。

3. DFSNsの技術的分析

3.1 概要

現行のWeb3プロジェクトにおいて、分散型ファイルストレージ（DFSN）はおおむね2つのカテゴリに分けられる。一つ目はIPFSを基盤とするFilecoinやCrustなど。二つ目はAR、Sia、Storjなど独自のプロトコルやストレージシステムを持つプロジェクトである。実装方法は異なるものの、共通の課題に直面している：真の分散型ストレージを実現しつつ、効率的なデータ保存と取得を両立すること。

ブロックチェーン自体は大量データのオンチェーン保存に不向きであり、コストやブロックスペースへの影響から現実的ではない。したがって、理想的な分散型ストレージネットワークは、データの保存・取得・維持を可能にするとともに、ネットワーク参加者の活動にインセンティブを与え、分散型システムの信頼メカニズムを守らなければならない。

以下では、主要プロジェクトの技術的特徴と長所・短所を次の観点から評価する：

データ保存形式：保存プロトコル層では、データの保存方法を決定する必要がある。例えば、データを暗号化するかどうか、全体として保存するか、小さなハッシュブロックに分割するか。

データの複製・バックアップ：データをどこに保存するかを決定する必要がある。例えば、何ノードがデータを保持すべきか、すべてのノードに完全複製するか、あるいは各ノードが異なる断片を受け取り、プライバシー保護を強化するか。保存形式と配布方法は、ネットワーク上のデータ可用性（時間経過によるデバイス故障時の持続性）に影響を与える。

長期的なデータ可用性：ネットワークは、データがいつでもどこでも利用可能であることを保証しなければならない。つまり、ストレージノードが時間とともに古いデータを削除しないよう、インセンティブ設計が必要である。

保存データの証明：ネットワークはデータの保存位置を把握するだけでなく、ストレージノードが実際にデータを保存していることを証明できなければならない。これにより、報酬の分配が可能になる。

ストレージ価格の形成：ノードはファイルの継続的保存に対して支払いを行うことが想定される。

3.2 データ保存と複製

前述の通り、FilecoinとCrustは、ピア間でファイルを転送しノードに保存するためのネットワークプロトコルとしてIPFSを使用している。違いは、Filecoinが拡張性確保のために「消散符号（EC：Erasure Coding）」を採用している点にある。消散符号は、データを断片に分割し、冗長データブロックを生成・符号化して異なる場所（ディスク、ストレージノード、地理的エリア）に保存するデータ保護手法である。ECは数学的関数を用いて数値群を記述し、正確性を検証し、いずれかが消失しても復元できるようにする。

出典: usenix

基本式は n=k+m。総データブロック数は、オリジナルデータブロック＋検査ブロック。

k個のオリジナルデータブロックからm個の検査ブロックを計算。これらk+m個のブロックをk+m個のHDDにそれぞれ保存することで、任意のm個のHDD故障に耐えられる。HDDが故障した際は、残存するk個のデータブロックから任意に選んだもので、すべてのオリジナルデータを再構成できる。同様に、k+m個のブロックを異なるストレージノードに分散すれば、m個のノード故障にも耐えられる。

Filecoinネットワークに新たなデータを保存する際、ユーザーはまずFilecoinストレージマーケットを通じてストレージプロバイダーと接続し、保存条件を交渉して注文を出す。同時に、どのタイプの消散符号と複製係数（replication factor）を使用するかを決定する。消散符号により、データは一定サイズの断片に分割され、各断片が拡張され、冗長データが符号化される。そのため、元のファイルを再構築するには、断片のサブセットだけで十分になる。複製係数とは、データがストレージマイナーのストレージセクター内でもっとも多くの場所に複製される頻度を指す。一旦マイナーとユーザーが条件で合意すれば、データはマイナーに送られ、そのストレージセクターに保存される。

一方、Crustのデータ保存方式は異なる。Crustでは、データを固定数のノードに複製する：ストレージ注文提出時に、データは暗号化され、少なくとも20のCrust IPFSノードに送信される（ノード数は調整可能）。各ノード上で、データは多数の小さな断片に分割され、Merkleツリーにハッシュされる。各ノードは、完全なファイルを構成するすべての断片を保持する。

Arweaveも完全ファイルの複製を採用しているが、異なるアプローチを取る。取引がArweaveネットワークに提出されると、最初の単一ノードがデータをblockweave（Arweaveのブロックチェーン表現）上のブロックとして保存する。そこから、「Wildfire」という非常に積極的なアルゴリズムにより、データがネットワーク内で急速に複製される。次のブロックをマイニングするには、前のブロックにアクセスできることを証明しなければならないためである。

SiaとStorjも同様にECを用いてファイルを保存する。実際、Crustの方式――20のノードに20の完全データセットを保存――は非常に冗長であり、データの耐久性は高いが、帯域幅の観点からは非常に非効率である。消散符号は、帯域幅への大きな影響を生じさせずに冗長性を実現する、より効率的な方法を提供する。SiaとStorjは、特定の耐久性要件を満たすために、EC断片を特定数のノードに直接配布する。

3.3 ストレージ証明とインセンティブ

まずデータ保存形式について説明したのは、技術的選択が各プロトコルの証明・インセンティブ層に直接影響するためである。すなわち、特定ノードに保存されるべきデータが本当にそのノードに保存されているかをどう検証するか。検証が行われた後、ネットワークは他のメカニズムを用いて、時間が経過してもデータが保存され続けることを保証できる（つまり、ストレージノードが初期保存後にデータを削除しないこと）。

こうしたメカニズムには、特定期間内にデータが保存されていることを証明するアルゴリズム、ストレージリクエストの完了期間に成功した報酬、未達成時のペナルティなどがある。本節では、各プロトコルのストレージおよびインセンティブ方式を紹介する。

3.3.1 Filecoin

Filecoinでは、ストレージマイナーはストレージリクエストを受ける前に、ネットワークに担保を預けなければならない。これがストレージ提供のコミットメントとなり、その後、マイナーはストレージマーケットでストレージを提供し、サービスに価格設定ができる。Filecoinは、マイナーのストレージ検証に革新的なPoRepとPoStを導入している。

出典: Filecoin

複製証明（PoRep）：マイナーは、データのユニークなコピーを保存していることを証明しなければならない。ユニークな符号化により、同一データの2つのストレージ取引が同じディスクスペースを再利用できないようにする。

時空間証明（PoSt）：ストレージ取引のライフサイクル中、ストレージマイナーは24時間ごとに、当該データを専用ストレージスペースに継続して割り当てていることを証明しなければならない。

証明提出後、ストレージ提供者はFIL報酬を得る。約束を果たせなければ、預けたトークンは没収（Slash）される。

時間の経過とともに、ストレージマイナーは定期的にこのアルゴリズムを実行し、データ保存の所有権を一貫して証明しなければならない。しかし、このような一貫したチェックには大量の帯域幅が必要となる。Filecoinの革新点は、時間経過によるデータ保存の証明と帯域幅使用の削減のため、マイナーが前の証明の出力を次の証明の入力として使い、順次に複製証明を生成することにある。これは反復的に実行され、反復回数がデータ保存期間を表す。

3.3.2 Crust Network

Filecoinと同様、CrustもIPFSとの関係はインセンティブ層とストレージ層の関係である。Crust Networkでは、ノードもまず担保を預けなければ、ネットワーク上でストレージ注文を受けられなくなる。ノードがネットワークに提供するストレージ容量に応じて、担保の最大量が決まり、それがステーキングされ、ノードがネットワーク上でブロックを作成する権利を得る。このアルゴリズムを「保証付き株式証明（Guaranteed Proof of Stake, GPoS）」と呼び、ネットワークに株を持つノードだけがストレージを提供できるようにする。

出典: Crust Wiki

Filecoinと異なる点は、Crustの価格形成メカニズムがDSM（Decentralized Storage Market）に依存していることだ。ノードとユーザーは自動的にDSMに接続し、ユーザーのデータをどのノードに保存するかが自動選択される。価格は、ユーザーの要求（保存期間、容量、複製係数）とネットワーク要因（混雑状況）に基づいて決定される。ユーザーがストレージ注文を提出すると、データはネットワーク上の複数ノードに送信され、マシンの信頼できる実行環境（TEE：Trusted Execution Environment）でデータが分割・ハッシュされる。TEEは閉鎖されたハードウェアコンポーネントのため、ハードウェア所有者でさえアクセスできないため、ノード所有者が自分でファイルを再構築することは不可能である。

ファイルがノードに保存された後、ファイルハッシュを含む作業報告書が、ノードの残りストレージ容量とともにCrustブロックチェーンに公開される。ここから、時間経過による保存の保証のため、ネットワークは定期的にランダムなデータチェックを要求する：TEE内で、ランダムなMerkleツリーハッシュと関連するファイル断片が取得され、そのファイル断片が復号・再ハッシュされる。その後、新しくハッシュされた値と期待されるハッシュ値が比較される。このストレージ証明の実装を「意味のある作業証明（MPoW：Meaningful Proof of Work）」と呼ぶ。

GPoSは、ストレージリソースで額を定義するPoS合意アルゴリズムである。第1層のMPoWメカニズムが提供する作業報告書により、Crustチェーン上ですべてのノードの作業量が把握でき、第2層のGPoSアルゴリズムは、その作業量に基づいて各ノードのステーキング額を算出する。そしてその額に基づいてPoS合意を行う。つまり、ブロック報酬は各ノードのステーキング量に比例し、各ノードのステーキング上限は、提供するストレージ量に制限される。

3.3.3 Arweave

前述の2つの価格モデルと比べ、Arweaveは非常に異なる価格モデルを採用している。核心は、Arweaveではすべての保存データが永久的であり、その価格はデータをネットワーク上で200年間保存するコストに依存している点にある。

Arweaveデータネットワークの基盤は、Blockweaveのブロック生成方式にある。ビットコインなどの典型的なブロックチェーンは、単一のチェーン構造であり、各ブロックは前のブロックにリンクされる。一方、blockweaveは網状構造で、各ブロックは前のブロックに加え、ブロックチェーンの過去歴史の中のランダムな「リコールブロック（recall block）」にもリンクされる。リコールブロックは、ブロック履歴中の前ブロックのハッシュ値と高さによって決定され、確定的だが予測不能な方法である。マイナーが新しいブロックを採掘・検証しようとするとき、リコールブロックの情報をアクセスできる権利を持たなければならない。

ArweaveのPoA（Proof of Access）はRandomXハッシュアルゴリズムを採用しており、マイナーのブロック生成確率 = ランダムリコールブロックの確率 × 最初に適切なハッシュを見つけた確率となる。マイナーはPoWメカニズムで新区間生成に適したハッシュ値を見つけなければならないが、乱数（Nonce）は前ブロックと任意のランダムリコールブロック情報に依存する。リコールブロックのランダム性により、マイナーはより多くのブロックを保存することで相対的に高い計算成功率とブロック報酬を得られるようになり、インセンティブとなる。PoAはまた、他人が保存していない「希少ブロック」を保存することで、より高いブロック生成確率と報酬を得られるように設計されている。

出典: Arweave Yellow Paper

一度の課金で以降のデータ読み取りが無料となるサービスモデル、つまり持続性が保証されユーザーがいつでもデータにアクセスできる場合、どのようにしてマイナーがゼロ収入でデータ読み取りサービスを提供し続けるインセンティブを得られるのか？

出典: Arweave Yellow Paper

BitTorrentのゲーム理論戦略「optimistic tit-for-tat algorithm」では、ノードは楽観的であり他ノードと協力し、非協力的行動にはペナルティが与えられる。これを踏まえ、ArweaveはWildfireという、隠れたインセンティブを持つノード評価システムを設計した。Arweaveネットワーク内の各ノードは、隣接ノードのデータ受信量と反応速度に基づいてスコアリングを行い、ノードはスコアの高い相手を優先してリクエストを送る。ノードのランキングが高いほど信用度が高く、ブロック生成確率も上がり、希少ブロックを獲得する可能性も上がる。

Wildfireは実際にはゲームであり、高度に拡張可能な仕組みである。ノード間には「ランキング」の合意は存在せず、ランキングの生成・確定を報告する義務もない。ノード間の「善悪」は適応メカニズムによって調整され、新しい行動に対する報酬とペナルティが決まる。

3.3.4 Sia

FilecoinやCrustと同様、ストレージノードはストレージサービスを提供する前に担保を預けなければならない。Siaでは、ノードはどれだけの担保を預けるかを決定する。担保額はユーザーのストレージ価格に直接影響するが、逆に低い担保を提示すれば、ネットワークから離脱してもノードに損失はない。この相反する力が、ノードをバランスの取れた担保額に導く。

ユーザーは自動ストレージマーケットを通じてストレージノードに接続する。これはFilecoinと同様の機能を持つ：ノードがストレージ価格を設定し、ユーザーは目標価格と予想保存期間に基づいて希望価格を設定。その後、ユーザーとノードが自動的に接続される。

出典: Crypto Exchange

これらのプロジェクトの中で、Siaの合意プロトコルは最もシンプルな方式を採用している：ストレージ契約をオンチェーンにする。ユーザーとノードがストレージ契約で合意すると、資金は契約内にロックされ、消散符号を使ってデータが断片に分割される。各断片は異なる暗号鍵で個別にハッシュされ、複数の異なるノードに複製される。Siaブロックチェーンに記録されるストレージ契約には、契約条項とデータのMerkleツリーハッシュ値が記録される。予定された保存期間中にデータが保存されていることを保証するため、定期的にストレージ証明がネットワークに提出される。これらの証明は、元の保存ファイルの一部をランダムに選択したものと、ブロックチェーンに記録されたファイルのMerkleツリーハッシュ値リストに基づいて作成される。ノードが一定期間内に提出する各ストレージ証明に対して報酬が与えられ、最終的に契約完了時に報酬が支払われる。

Siaでは、ストレージ契約の最長期間は90日である。90日以上保存したい場合は、ユーザーがSiaクライアントソフトウェアを使って手動でネットワークに接続し、契約をさらに90日延長する必要がある。SkynetはSiaの上位レイヤーであり、FilecoinのWeb3.StorageやNFT.Storageのようなプラットフォームで、Skynet自身のクライアントソフトウェアインスタンスがユーザーの代わりに契約更新を行うことで、このプロセスを自動化する。これは回避策にすぎず、Siaプロトコルレベルの解決策ではない。

3.3.5 Storj

Storjの分散型ストレージネットワークには、ブロックチェーンやそれに類似する構造はない。ブロックチェーンがないということは、ネットワーク状態に関する全ネットワーク合意もない。代わりに、データの保存位置の追跡はサテライトノードが担当し、データの保存はストレージノードが担当する。サテライトノードは、どのストレージノードにデータを保存させるかを決定でき、ストレージノードはどのサテライトノードからの保存リクエストを受け入れるかを決定できる。

ストレージノード間のデータ位置追跡に加え、サテライトはストレージノードのストレージ使用量と帯域使用量の課金・支払いも担当する。この体制下では、ストレージノードが独自の価格を設定し、ユーザーがその価格を支払う意思があれば、サテライトが双方を接続する。

出典: Storj GitHub

ユーザーがStorjにデータを保存したい場合、接続するサテライトノードを選択し、特定の保存要件を共有する必要がある。サテライトノードは、保存要件を満たすストレージノードを選び出し、ユーザーと接続する。その後、ユーザーはファイルをストレージノードに直接転送し、同時にサテライトに支払いを行う。サテライトは、保存されたファイルと使用された帯域幅に基づき、毎月ストレージノードに支払いを行う。

この技術的アプローチは実際には非常に中央集権的であり、サテライトノードの開発はプロジェクト側が完全に定義しており、つまりプロジェクト側が価格決定権を握っている。中央集権的なアーキテクチャはStorjに高性能なサービスをもたらしているが、冒頭で述べた通り、分散型＝去中心化ではない。Storjがイーサリアム上にリリースしたERC-20トークン$STORJも、スマートコントラクト機能をまったく活用しておらず、本質的には多様な支払い手段を提供しているに過ぎない。

これはStorjのビジネスモデルと深く関係している。彼らは企業向けストレージサービスに焦点を当てており、アマゾンのS3サービスと直接競合し、Microsoft Azureともパートナーシップを結んでいる。企業に、アマゾンのストレージと同等、あるいはそれ以上の性能を提供することを目指している。性能データが不明な中で、彼らのストレージコストはアマゾンよりもはるかに安価であり、一定程度、分散型ストレージのビジネスモデルが成立しうることを示している。

4. 異なる技術的アプローチの影響

4.1 経済モデル

技術的アプローチの選択は、トークンモデル設計にも一定程度影響を与える。4つの主要分散型ストレージネットワークは、それぞれ独自の経済モデルを持っている。

Filecoin、Crust、Siaはいずれも「Stake for Access（SFA）」のトークンモデルを採用している。このモデルでは、ストレージプロバイダーがストレージ取引を受け入れるために、ネットワークのネイティブ資産をロックしなければならない。ロックする量は、ストレージプロバイダーが保存できるデータ量に比例する。これにより、ストレージプロバイダーがより多くのデータを保存するほど、より多くの担保を増やす必要があり、ネットワークのネイティブ資産需要が増加する。理論的には、ネットワーク上の保存データ量が増えるにつれて、資産価格も上昇するはずである。

一方、Arweaveはユニークな「寄付型トークンモデル」を採用している。各取引のワンタイムストレージ料金の大部分が寄付プールに追加される。時間の経過とともに、寄付プール内のトークンはストレージ購買力という形で利息を蓄積する。時間が経つにつれて、寄付はマイナーに分配され、ネットワーク上でのデータの永続性を保証する。この寄付モデルは、実質的にトークンを長期的にロックする効果を持つ：Arweave上のストレージ需要が増えるほど、流通から除外されるトークンが多くなる。

他の3つのネットワークと比べ、Storjのトークンモデルは最もシンプルである。そのトークン$STORJは、エンドユーザーとストレージプロバイダーの両方にとって、ネットワーク上のストレージサービスの支払い手段として使われ、他のネットワークも同様である。したがって、$STORJの価格は$STORJサービスに対する需要の直接的な関数である。