Filecoin과 Arweave: 저장에서 컴퓨팅까지, 탈중앙화 저장의 부활
저자: Leo, IOSG Ventures
본문은 IOSG의 오리지널 콘텐츠로, 산업 학습 및 교류 목적으로만 사용되며 투자 참고 자료로 간주되지 않습니다. 인용 시 출처를 밝혀주시고, 재배포를 원하시면 IOSG 팀에 연락하여 허가 및 재배포 규정을 확인해 주십시오.
요약:
Arweave 프로토콜 설계는 기술적으로 영구 저장을 보장하며, NFT 메타데이터와 같은 고가치 디지털 자산 보존에 더욱 적합합니다.
데이터 저장 그 이상으로 계산이 필요합니다. 스마트 계약과 프로그래밍 가능성 도입과 함께 탈중앙화 데이터 저장 네트워크는 "단순한 저장을 넘어서는" 새로운 단계에 진입했습니다.
저장 데이터 중복성 구현에서 Filecoin은 경제적 인센티브 수단을 활용하고, Arweave는 프로토콜 설계를 활용합니다.
FVM은 Filecoin에 저장 금융을 제공하며, 저장 공간과 시간을 상품화합니다. 사용자는 비용을 미리 확정할 수 있고, 공급자는 자금을 조기에 회수하며 장기 수요에 따라 재고, 하드웨어, 운영 등을 계획하고 관리할 수 있습니다.
컴퓨터 네트워크 발전의 주된 방향은 데이터 계산, 전송, 저장 세 가지입니다.Web3의 발전이 현재까지 이르러, 탈중앙화 데이터 저장 프로토콜의 발전은 눈에 띄게 진행되고 있습니다.
Filecoin은 2023년 3월 14일 메인넷의 2,683,348번째 Epoch에서 EVM 호환 Filecoin Virtual Machine(FVM)을 공식 발표하였으며, 이를 통해 스마트 계약과 프로그래밍 가능성을 Filecoin 네트워크에 도입하였습니다. 이로써 탈중앙화 데이터 저장 프로토콜은 '단순 저장'을 넘어선 새로운 단계에 접어들었습니다.
탈중앙화 데이터 저장 프로토콜은 많지만, 가장 주목받는 것은 Filecoin과 Arweave이며, 본문에서는 FVM 출시로 인해 Filecoin에 부여된 새로운 특징들을 하나씩 논의하겠습니다.
영구 저장 Perpetual Storage
영구 저장은 Web3에서 특별한 의미와 요구를 갖습니다. NFT 메타데이터와 같은 고가치 디지털 자산은 영구 보관되어야 합니다.
Filecoin
FVM 출시 이후 Filecoin은 영구 저장(Permanent Storage) 기능을 강조하였습니다. 우리가 이해하는 Filecoin의 영구 저장은 이론적으로 경제적 수단을 통해 장기 보관을 실현하지만, Filecoin 프로토콜 설계 차원에서는 큰 변화가 없습니다.
현재 Filecoin 설계에서 저장 주문은 저장 공급자와 수요자 간 체인 외에서 매칭되고 체인상에서 기록됩니다. 주문 정보에는 데이터 크기, 저장 기간, 가격, 담보물 등이 포함됩니다. 주문 정의 기간 후에도 데이터를 계속 보관하려면 저장 수요자가 직접 수동으로 주문 갱신을 제출해야 합니다.
그러나 FVM 출시 이후 주문은 체인상에서 자동 갱신될 수 있습니다.
Lighthouse
Lighthouse는 Filecoin 상에서 파일의 영구 저장을 실현하기 위한 프로젝트로, 사용자가 한 번만 요금을 지불하면 파일이 '영구' 보관됩니다. Lighthouse는 스마트 계약 기반의 기부 풀(endowment pool)을 통해 파일의 지속적인 저장 비용을 지불합니다. 사용자가 주문을 생성하고 결제하면 일부 금액은 저장 공급자에게 지급되고 나머지는 기부 풀로 들어갑니다. 기부 풀 스마트 계약은 주문 만료 시 자동으로 갱신하고 풀 내 금액으로 비용을 지불함으로써 '영구 저장'을 실현합니다. 이 설계의 타당성은 기부 풀이 스테이킹, farming 등의 방식으로 자산 증식을 이루며 시간이 지남에 따라 증식된 부분이 저장 비용을 충당할 수 있다는 점에 있습니다.
이는 Arweave 화이트페이퍼에서 저장 비용에 대한 가정과 유사합니다. 즉 저장 비율이 계속 감소하며, 저장 수요자의 지불 금액 증식이 영구 저장 비용을 충당할 수 있다는 것입니다.
Arweave
“지난 50년 동안 저장 비용은 연평균 30.57% 감소해왔다.”
Arweave Yellow Paper: 1980년 이후 1GB 데이터를 1시간 저장하는 비용(log scale)
Arweave는 일반적인 블록체인 데이터 구조에 Blockweave라는 설계를 도입하여 프로토콜 설계 자체로부터 데이터의 영구 저장을 실현합니다.
Blockweave에서 체인의 각 블록(최근 확정 블록과 채굴 중인 후보 블록 제외)은 전후 블록과 더불어 호출 블록(recall block)이라는 또 다른 세 개의 블록과 연결됩니다.
특정 높이의 블록에서 호출 블록은 해당 높이 이전의 임의의 과거 블록일 수 있습니다. 새 블록 채굴 시 호출 블록의 선택은 이전 블록의 높이와 해시에 의해 무작위 결정됩니다.
호출 블록은 Arweave가 채택한 합의 메커니즘인 SPoRA(Succinct Proof of Random Access)에서 중요한 역할을 합니다.
Arweave에서 채굴자는 모든 과거 블록을 저장할 필요는 없지만(즉 모든 과거 블록 보유는 채굴 참여 필수 조건 아님), 로컬에 무작위로 선택된 호출 블록을 보유하는 것이 채굴자에게는 새 후보 블록 채굴 참여의 입장을 부여합니다. 호출 블록은 마치 채굴자가 특정 과거 블록 내용을 보유하고 있는지를 무작위 검사하는 것처럼 작동하며, 이를 통해 과거 데이터의 영구 저장을 실현합니다.
Arweave의 영구 저장은 프로토콜 설계에 의해 기술적으로 보장되는 것으로, Filecoin의 영구 저장보다 더 견고한(Robust) 솔루션입니다. 또한 Web2의 기술 거물 Meta, Instagram과 Web3 애플리케이션 Mirror가 NFT 및 콘텐츠 저장 솔루션으로 Arweave를 선택한 주요 이유이기도 합니다.
탈중앙화 컴퓨팅 Decentralized Computation
데이터를 저장하는 것도 중요하지만, 더 중요한 것은 활용입니다. Filecoin과 Arweave의 비전은 단순히 '탈중앙화 웹하드'가 아니며(비록 현재 대부분의 저장 수요자가 이를 그렇게 사용하고 있긴 하지만), 저비용 저장과 고스루풋 컴퓨팅을 모두 갖춘 블록체인 프로토콜이 되는 것입니다.
데이터 저장 위에서 Web3 Dapp들은 여전히 계산을 필요로 합니다.
Filecoin
Filecoin과 IPFS는 전 세계에 분포한 저장 공급자들 사이에서 콘텐츠 주소 기반(content-addressed) 데이터셋을 배포하여 데이터의 중복성과 탄력성을 높입니다. 이러한 탈중앙화된 데이터 분포는 비용, 가용성, 신뢰성 면에서 장점이 있지만, 단일 데이터셋의 각 부분이 지리적으로 멀리 떨어진 여러 저장 공급자에 저장된다는 문제가 있습니다. 광범위하게 분산된 데이터셋은 데이터 위에서 계산이나 인덱스 조회 작업을 수행하기에 불리합니다. 고도로 분산된 데이터를 다시 한곳에 모아 계산하는 것은 비용이 많이 들고 낭비적이며 성능이 떨어지고 탈중앙화 저장 원칙에도 어긋납니다.
Filecoin의 EVM 호환 FVM은 엣지 컴퓨팅(edge computation)과 체인상 조정을 통한 계산 실행 방안을 제시합니다.
FVM의 계약은 계산 자원 대행, 계산 실행 인센티브 제공, 이용 가능한 저장 공급자 간 작업 부하 분배, 계산 결과 유효성 증명을 통한 보상 획득 등을 할 수 있습니다.
저장 공급자는 FVM 계약을 통해 탈중앙화 계산 네트워크에 등록할 수 있습니다. 계산 클라이언트는 계산 작업을 계약에 게시합니다. 계약이 정의한 메커니즘은 작업을 등록된 저장 공급자에게 분배하고, 계산 완료 후 저장 공급자는 증명을 제출하여 보수를 받습니다.
Arweave
Arweave의 탈중앙화 계산은 SmartWeave 스마트 계약 프로토콜을 통해 구현되며, 풍부한 데이터 처리 능력을 갖추고 있습니다. SmartWeave와 다른 블록체인 스마트 계약 프로토콜의 주요 차이점은 'Lazy Evaluation(게으른 평가)'로, 스마트 계약의 계산 부담을 네트워크 노드에서 사용자에게 이전합니다. 게으른 평가의 장점은 명백합니다. 저장과 계산을 분리함으로써 노드는 계속 증가하는 글로벌 상태를 저장할 필요가 없습니다.
스마트 계약은 사용 시에만 사용자가 최신 상태를 계산하고 검증할 수 있으며, 체인상 합의에 참여하는 모든 노드가 계산하고 검증할 필요는 없습니다. 계산을 사용자에게 위임함으로써 블록체인의 확장성도 향상됩니다.
Warp
Warp는 SmartWeave 초기 버전 기반의 Warp SDK를 개발하였으며, 원래 버전보다 성능과 모듈화 정도를 향상시키고 다양한 실행 환경을 지원합니다.
Warp는 최근 2023년 로드맵을 발표하며 다음과 같은 개발 목표를 설정했습니다:
1) Layer1 싱크화 장치: Warp 계약과 기반 Arweave 계층 간 효율적 동기화 실현;
2) Layer2 정렬기: 데이터를 Arweave 메인넷에 직접 보내는 대신(다음 블록에 패키징되기까지 2~3분 정도 대기할 수 있음), 데이터 트랜잭션을 Warp 정렬기에 보내고 Bundlr 네트워크를 통해 즉시 정산되도록 하여 사용자에게 데이터의 즉각적 접근과 거의 즉각적인 확정성을 제공;
3) 계약 강화 개선: Warp contract는 Web3 Dapp들이 Web2 서비스와 경쟁할 수 있도록 기능이 풍부한 기술 스택을 제공하는 것을 목표로 함;
4) 위임 해결 환경(Delegated Resolution Environment) 및 집계 노드 개발: 위임 해결 환경은 높은 상호작용 또는 비안전한 계약에 대한 계산 위임을 가능하게 하고, 집계 노드는 계약 상태 정보 모니터링과 인사이트를 제공합니다.
저장 중복성 Storage Redundancy
탈중앙화 데이터 저장 네트워크는 단일 실패 지점을 피하지만, 어떻게 각 노드/저장 공급자가 저장 수요자의 업로드 데이터를 실제로 효과적으로 보관하고 있는지 보장할 수 있을까요? 그리고 다수의 노드/저장 공급자가 업로드 데이터를 별도로 보관하여 저장 중복성과 신뢰성을 실현하도록 할 수 있을까요?
Filecoin과 Arweave는 서로 다른 방안을 취하고 있습니다. Filecoin은 경제적 인센티브 수단을 사용하고, Arweave는 프로토콜 설계를 활용합니다.
Filecoin
FVM 출시 주요 사항 중 Replication Worker(데이터 복제 작업자), Repair Worker(데이터 수리 작업자)가 소개되었습니다.
FVM 출시 전, 저장 수요자가 저장 공급자 장애 시 데이터 보존 확률을 극대화하기 위해 네트워크 노드에 데이터를 백업하려면, 수요자는 수차례 공급자와 오프체인에서 주문을 매칭하고, N번 체인상 거래를 실행하며, N번 데이터 전송에 많은 자원을 소모해야 했습니다.
FVM 출시 후, 데이터 복제 작업자는 중개자로서 소량의 수수료만으로 데이터 중복성을 실현하여 저장 수요자의 시간과 비용을 절약합니다. 복제 작업자는 수요자가 선택한 백업 수량, 저장 지리적 지역, 지연 요구사항, 가격 범위 등의 조건에 따라 Filecoin 네트워크에서 자동으로 주문을 매칭하고 생성합니다.데이터 수리 작업자는 수요자의 대리인으로서 저장 데이터 유실 또는 만료 여부를 모니터링하고, 수요자의 설정에 따라 중복 임계값 이하의 데이터를 자동으로 더 많은 저장 공급자에게 복제 백업할 수 있으며, 만료되거나 종료된 저장 주문을 대신 갱신할 수도 있습니다.
Arweave
Arweave의 저장 중복성은 프로토콜 설계를 통해 자연스럽게 실현됩니다.Arweave는 SPoRA 작업량 알고리즘 입력의 일부로 호출 블록을 사용하여 새 블록을 채굴한 채굴자가 실제로 호출 블록의 모든 데이터를 보유하고 있음을 보장합니다. SPoRA 합의 메커니즘은 채굴자가 저장 공간 능력 내에서 가능한 한 많은 과거 블록과 Blockweave 데이터를 보유하도록 장려합니다. 그러나 채굴자의 저장 능력이 모든 과거 블록과 전체 Blockweave 데이터를 저장하기에 부족하다면, 채굴자는 다른 채굴자가 덜 보유한 블록을 우선 보유합니다. 왜냐하면 많이 보유된 호출 블록이 선택되면 많은 채굴자가 동시에 새 블록 채굴 경쟁에 참여하지만, 적게 보유된 호출 블록이 선택되면 경쟁이 상대적으로 적기 때문입니다. 호출 블록 선택은 매우 무작위적이므로 임의의 호출 블록이 선택될 확률은 이산 균등 분포를 따릅니다. 따라서 저장 능력이 제한된 상황에서 이성적인 채굴자는 자신의 새 블록 채굴 확률을 높여 블록 보상을 얻기 위해 덜 보유된 블록을 우선 보유해야 합니다. Arweave 프로토콜은 정교한 설계와 경제적 인센티브를 통해 blockweave와 모든 과거 블록이 전체 네트워크 채굴자의 저장 능력 제약 하에서 가능한 한 최대로 백업되도록 하며, Arweave 탈중앙화 저장 네트워크의 신뢰성과 데이터 중복성을 보장합니다.
데이터 검색 Data Retrieval
데이터를 저장했다면, 이를 얼마나 효율적이고 정확하며 빠르게 되찾을 수 있는지가 또 다른 문제입니다.
Filecoin의 데이터 검색 서비스는 별도의 경제적 인센티브 시스템입니다. Retrieval Provider(검색 공급자)는 저장 수요자에게 데이터에 대한 빠른 접근을 제공합니다. 검색 공급자는 장기 저장보다는 데이터의 빠른 접근에 집중합니다. 대부분의 저장 공급자는 동시에 검색 공급자이기도 합니다. 수요자는 검색 공급자에게 데이터를 얻기 위해 요금을 지불합니다. Filecoin 생태계에는 이미 retrieval.market과 Saturn Network 등의 프로젝트가 있어 데이터의 빠른 검색과 콘텐츠 배포를 실현하고 있습니다.
Arweave의 SPoRA 합의 메커니즘은 앞서 언급한 영구 저장과 저장 중복성의 장점 외에도 일석삼조로 데이터 검색 및 접근 속도를 향상시킵니다. SPoRA 업그레이드 이전, Arweave의 PoA(Proof-of-Acces) 이전 합의 메커니즘은 채굴자가 가능한 한 많은 데이터를 저장하도록 유도하는 문제를 해결했지만, 채굴자가 저장 데이터를 빠르게 검색하도록 유도하지는 않았습니다. 사실 PoA 시절 채굴자들은 저장 자원을 모아 저장 풀을 만들었으며, 풀 내에 과거 블록을 보관했습니다. 특정 호출 블록이 선택되면, 저장 풀은 채굴자의 요청 시 해당 호출 블록 내용을 전송했습니다. 이는 네트워크의 탈중앙화에 불리합니다. Arweave 네트워크 통계는 전체 해시 파워가 증가하는 동시에 노드 수가 감소하는 현상을 보였으며, 이는 간접적으로 저장 풀 존재를 증명합니다. 이 문제를 해결하고 각 채굴자가 로컬에 데이터를 저장하도록 유도하기 위해 Arweave는 PoA를 SPoRA로 업그레이드했습니다. SPoRA 업그레이드 후, 로컬에 과거 블록 데이터를 저장하지 않은 채굴자는 저장 풀로부터 호출 블록을 요청하고 전송하는 데 드는 비용과 시간이 크게 증가하지만, 로컬에 과거 블록 데이터를 저장한 채굴자는 새 블록 채굴 확률이 높아집니다. 메커니즘 설계상 저장 풀의 존재를 원천 차단합니다. 전 세계에 분포한 채굴자 노드가 로컬에 과거 블록 데이터를 저장함으로써 저장 수요자의 데이터 검색 및 접근 속도도 향상됩니다.
저장 금융화 Financialization
FVM 출시와 함께 Filecoin 상에 DeFi를 포함한 다양한 Web3 애플리케이션, 예를 들어 스테이킹 프로토콜, 보험 프로토콜, 저장 파생상품 등이 도입될 수 있습니다.
Filecoin의 저장 공급자는 저장 서비스 제공을 위해 일정량의 FIL을 담보로 맡겨야 합니다. 과거에는 공급자가 자금을 마련해 FIL을 구매하거나, 오프체인 대출 계약을 통해 FIL을 빌려야 했습니다. 그러나 FVM 기반 스테이킹 프로토콜을 활용하면, FIL 보유자는 유휴 FIL을 프로토콜에 예치하고 규칙과 조건을 설정할 수 있으며, 모든 규모의 저장 공급자는 이러한 규칙과 조건에 따라 체인상에서 FIL을 얻어 충분한 담보 수량을 확보하고 저장 서비스를 시작할 수 있습니다.
저장 파생상품은 또 다른 흥미로운 응용 분야입니다. 변동하는 저장 비용은 저장 수요자와 공급자 모두에게 예산 통합의 도전 과제를 줍니다. 저장 공간과 시간을 상품화(commoditize)함으로써 저장 수요자는 저장 비용을 미리 확정할 수 있고, 공급자는 조기에 자금을 회수하며 장기 수요에 따라 재고, 하드웨어, 운영 및 재무를 사전에 계획하고 관리할 수 있습니다.
프로젝트 포지셔닝과 현황
Filecoin은 현재 전망망에 3,678개 노드가 약 19.544EiB의 저장 공간을 제공하고 있으며, Arweave는 전망망에 112개 노드가 실제로 125.62TiB의 데이터를 보관하고 있습니다.
규모상 Filecoin 네트워크가 더 크지만, Filecoin과 Arweave는 모두 탈중앙화 데이터 저장 프로토콜이지만 서로 다른 포지셔닝을 가지고 있으며, 단순히 네트워크 노드 수나 규모로 비교할 수는 없습니다.
Protocol Labs는 Filecoin을 저장 마켓플레이스와 인센티브 레이어로 포지셔닝하며, Filecoin 주변에 완벽한 저장 시장, 검색 시장, 금융 제품 등을 구축하고, 경제적 인센티브 설계를 통해 다양한 제품 기능(예: 영구 저장, 저장 복제 및 수리 등)을 실현하며, 가장 크고 중요한 탈중앙화 데이터 저장, 배포, 계산 프로토콜이 되는 것을 목표로 하고 있습니다.
Arweave의 가장 중요한 포지셔닝은 데이터를 영구 보존하고, 최하위 Arweave 계층 위에 스마트 계약 프로토콜을 구축하여 데이터에 대한 계산을 실현하는 것입니다.모든 메커니즘 설계는 이 가장 중요한 목표를 위해 봉사하며, 앞서 설명한 몇 가지 특징을 통해 Arweave의 설계가 정교하고 일관됨을 쉽게 느낄 수 있습니다.
전망
이더리움 생태계와 이더리움 가상 머신의 빠른 발전에 비해 지난 몇 년간 탈중앙화 데이터 저장 네트워크의 발전은 다소 평탄해 보였습니다.
Filecoin과 Arweave 생태계에는 우수한 프로젝트와 창업자들이 많지만, 현재 Web3 Dapp들의 저장 방안은 Filecoin 및/또는 Arweave를 대규모로 채택하지 않고 있으며, 많은 Dapp은 여전히 Web2 저장 방안에 의존하고 있습니다. 저장을 위한 블록체인에서 계산을 하는 것은 새로운 접근 방식이며, FVM이든 SmartWeave이든 모두 개발자가 전례 없는 탈중앙화 애플리케이션을 해제할 수 있는 잠재력을 가지고 있습니다.
개발자나 사용자 입장에서 어떤 탈중앙화 저장 프로토콜을 사용할지는 둘 중 하나를 선택하는 문제가 아니라, 애플리케이션과 콘텐츠의 저장 요구에 따라 선택해야 합니다.
Filecoin과 Arweave의 포지셔닝은 일부 겹치는 부분이 있지만, 각자의 독창적인 분야에서 더욱 정진하여 지속 진화하는 탈중앙화 네트워크 저장 요구를 충족시키고, '탈중앙화 웹하드'에서 탈중앙화 서버로의 비전을 실현할 수 있습니다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
IOSG Ventures
