왜 웹3(Web3)에는 독립된 데이터 가용성 계층이 필요한가?
데이터 경제가 일정한 수준에 도달하면, 사람들은 널리 그리고 깊이 그 안에 참여하게 되며, 누구나 피할 수 없이 다양한 데이터 저장 활동에 참여하게 된다.
그 외에도 Web3 시대의 도래와 함께 대부분의 기술 분야는 향후 몇 년 동안 서서히 업그레이드 또는 전환을 시작할 것이며, 탈중앙화 스토리지는 Web3의 중요한 인프라로서 앞으로 더욱 다양한 응용 시나리오에 적용될 것이다. 예를 들어 우리가 잘 아는 소셜 데이터, 짧은 동영상, 라이브 스트리밍, 스마트 자동차 등 그 이면의 데이터 저장 네트워크도 미래에는 탈중앙화 저장 방식을 채택하게 될 것이다.
데이터는 Web3 시대의 핵심 자산이며, 사용자가 데이터를 소유하는 것은 Web3의 주요 특징이다. 사용자가 안전하게 데이터 및 데이터가 대표하는 자산을 소유할 수 있도록 하고, 일반 사용자의 자산 보안에 대한 각종 우려를 해소함으로써 다음 10억 명의 사용자를 웹으로 유도하는 데 도움이 된다. 독립적인 데이터 가용성 계층(Data Availability Layer)은 Web3에서 불가결한 구성 요소가 될 것이다.
탈중앙화 스토리지에서 데이터 가용성 계층까지
과거에는 데이터가 전통적인 중앙집중식 방식으로 클라우드 저장되었으며, 데이터는 일반적으로 중앙화된 서버에 그대로 저장되었다.
아마존웹서비스(AWS)는 클라우드 스토리지의 원조이자 현재 세계 최대의 클라우드 스토리지 제공업체다.
-
시간이 지남에 따라 사용자들은 개인정보 보안 및 데이터 저장에 대한 요구가 끊임없이 높아졌고, 특히 일부 대형 데이터 사업자가 데이터 유출 사고를 겪은 이후 중앙집중식 저장의 단점들이 점차 드러나기 시작했으며, 전통적인 저장 방식은 더 이상 시장의 요구를 충족시킬 수 없게 되었다.
-
더불어 Web3 시대가 계속 진전되면서 블록체인 애플리케이션이 확장되고, 데이터는 다양해졌으며 규모도 계속 커지고 있으며, 개인의 온라인 데이터 차원은 더욱 포괄적이 되었고 가치 또한 더 높아져 데이터 보안과 프라이버시가 더욱 중요해졌으며, 데이터 저장에 대한 요구도 계속 상승하고 있다.
이에 탈중앙화 데이터 저장이 등장하게 되었다.
탈중앙화 저장은 Web3 분야에서 가장 먼저 등장했고 가장 많은 관심을 받은 인프라 중 하나로, 최초의 솔루션은 2017년에 출시된 Filecoin이다.
AWS와 비교했을 때, 탈중앙화 저장과 중앙집중식 저장은 본질적인 차이가 있다. AWS는 자체적으로 다수의 서버로 구성된 데이터센터를 구축하고 운영하며, 저장 서비스를 이용하려는 사용자는 직접 AWS에 비용을 지불한다. 반면 탈중앙화 저장은 공유경제 모델을 따르며, 무수한 엣지 저장 장치를 활용하여 저장 서비스를 제공한다. 데이터는 실제로 Provider 노드가 제공하는 저장 공간에 저장된다. 따라서 탈중앙화 저장 프로젝트 운영사는 이러한 데이터를 통제할 수 없다. 탈중앙화 저장과 AWS의 가장 근본적인 차이는 사용자가 자신의 데이터를 통제할 수 있는지 여부이다. 이러한 중앙통제가 없는 시스템에서는 데이터의 보안 수준이 매우 높다.
탈중앙화 저장은 주로 파일이나 파일 집합을 조각내어 저장 공간에 분산 저장하는 저장 비즈니스 모델이다. 탈중앙화 저장이 중요한 이유는 Web2의 중앙집중식 클라우드 저장이 가진 여러 문제점을 해결할 수 있으며, 빅데이터 시대의 발전 요구에 더욱 부합하고, 비구조화된 엣지 데이터를 더 낮은 비용과 더 높은 효율로 저장할 수 있어 신기술들의 발전을 지원하기 때문이다. 따라서 탈중앙화 저장은 Web3 발전의 초석이라고 할 수 있다.
현재 일반적인 탈중앙화 저장 프로젝트는 두 가지 유형이 있다:
-
하나는 블록 생성을 목적으로 저장을 통해 마이닝을 하는 방식인데, 이 모델의 문제점은 체인 상에서 저장 및 다운로드 작업이 실제 사용 속도를 저하시킨다는 것으로, 사진 한 장을 다운로드하는 데 몇 시간이 걸리는 일이 종종 발생한다.
-
또 다른 하나는 하나 또는 몇 개의 노드를 중앙집중형 노드로 삼고, 이 중앙집중형 노드의 검증을 거쳐야만 저장 및 다운로드를 수행할 수 있도록 하는데, 만약 중앙집중형 노드가 공격당하거나 손상되면 저장된 데이터의 유실 등의 문제가 발생할 수 있다.
첫 번째 유형의 프로젝트와 비교했을 때, MEMO의 저장 계층화 메커니즘은 저장 및 다운로드 속도 문제를 효과적으로 해결하여 저장 및 다운로드 속도를 초단위 수준으로 끌어올렸다.
두 번째 유형의 프로젝트와 비교했을 때, MEMO는 검증 노드를 무작위로 선택하는 Keeper 역할을 도입하여 중앙집중화를 방지하면서도 보안성을 유지한다. 또한 MEMO는 자체 개발한 RAFI 기술을 통해 복구 능력을 수 배 향상시켜 저장의 보안성, 신뢰성, 가용성을 크게 높였다.
데이터 가용성(DA, Data Availability)란 본질적으로 경량 노드(light node)가 합의 과정에 참여하지 않더라도 모든 데이터를 저장하거나 실시간으로 전체 네트워크 상태를 유지할 필요 없이. 이러한 노드의 경우, 데이터의 가용성과 정확성을 효율적으로 보장할 수 있는 방법이 필요하다. 블록체인의 핵심은 데이터의 불변성에 있기 때문이다. 블록체인은 전망 데이터的一致性을 보장할 수 있다. 합의 노드는 성능을 보장하기 위해 더욱 중앙집중화되는 경향이 있다. 다른 노드들은 DA를 통해 합의가 확인된 가용 데이터를 획득해야 한다. 독립적인 데이터 가용성 계층은 단일 장애 지점을 효과적으로 차단하고 데이터 보안을 극대화한다.
또한 zkRollup과 같은 레이어2 확장 솔루션도 데이터 가용성 계층을 필요로 한다. 실행 계층인 레이어2는 레이어1을 합의 계층으로 활용하는데, 대량의 트랜잭션 결과 상태를 레이어1에 업데이트하는 것 외에도 원본 트랜잭션 데이터의 가용성을 보장해야 하므로, 증명 생성자가 증명을 생성하지 않으려 할 때에도 레이어2 네트워크 상태를 복구할 수 있고, 사용자의 자산이 레이어2에 잠기는 극단적 상황을 방지할 수 있다. 그러나 원본 데이터를 바로 레이어1에 저장하면 블록체인 네트워크의 모듈화 설계 하에서 레이어1이 합의 계층으로서의 기능을 위반하게 되므로, 데이터는 전용 데이터 가용성 계층에 저장하고, 해당 데이터의 Merkle Root만 합의 계층에 기록하는 것이 더 합리적인 설계이며 장기적으로 반드시 이루어질 추세이다.
그림 1: 범용 레이어2 독립 데이터 가용성 계층 모델
독립 데이터 가용성 계층 분석: Celestia
독립적인 데이터 가용성 계층은 하나의 공개 블록체인이며, 주관적인 판단을 가진 사람들로 구성된 가용성 위원회보다 우월하다. 만약 위원회의 충분한 수의 구성원들의 개인키를 해킹(론인 브릿지와 하모니 호라이즌 브릿지 모두 이런 사례가 있었다)하여 오프체인 데이터 가용성이 불가능해지면, 레이어2에서 인출하려는 사용자들을 협박하여 자신들에게 충분한 몸값을 지불하도록 요구할 수 있다.
오프체인 데이터 가용성 위원회가 충분히 안전하지 않다면, 신뢰 주체로서 블록체인을 도입하여 오프체인 데이터 가용성을 보장하는 것은 어떨까?
Celestia가 하는 일은 데이터 가용성 계층을 더욱 탈중앙화하는 것이다—즉 독립적인 DA 공개 블록체인을 제공하여 일련의 검증 노드, 블록 생산자, 합의 메커니즘을 갖추고 보안 수준을 높이는 것이다.
레이어2는 트랜잭션 데이터를 Celestia 메인체인에 게시하고, Celestia의 검증인이 DA Attestation의 Merkle Root에 서명한 후 이를 이더리움 메인체인의 DA Bridge Contract로 보내 검증 및 저장을 진행한다. 이렇게 함으로써 모든 데이터 가용성을 사실상 Merkle Root 하나로 증명하게 되며, 이더리움 메인체인의 DA Bridge Contract는 이 Merkle Root만 검증하고 저장하면 되므로 오버헤드가 크게 줄어든다.
Celestia의 사기 증명(fraud proof)은 낙관적 증명(optimistic proof)으로, 이 네트워크에 오류가 없다면 매우 효율적이다. 오류가 없다면 사기 증명이 발생하지 않는다. 경량 노드는 아무런 조치도 취할 필요 없이 데이터를 수신하고 인코딩 방식에 따라 복구하면 되며, 전체 프로세스에 문제가 없다면 낙관적 증명은 매우 효율적이다.
독립 데이터 가용성 계층 분석: MEMO
MEMO는 알고리즘적 특성을 활용해 전 세계의 엣지 저장 장치를 통합하여 만든 차세대 고용량, 고가용성의 기업용 저장 네트워크로, 2017년 9월에 팀이 설립되어 주로 탈중앙화 저장 분야를 연구하고 있다. MEMO는 블록체인 P2P 기술 기반의 고보안, 고신뢰성의 대규모 분산형 데이터 저장 프로토콜로, 대규모 데이터 저장을 실현할 수 있다.
일대다(one-to-many) 방식의 중앙집중형 저장과 달리, MEMO는 데이터센터 제거 및 다대다(many-to-many) 저장 작업을 가능하게 한다.
MEMO의 메인체인에는 모든 노드를 제약하는 스마트 계약이 주로 저장되며, 저장 데이터의 업로드, 저장 노드의 매칭, 시스템의 정상 작동, 처벌 메커니즘의 운용 등 일련의 핵심 작업이 모두 스마트 계약에 의해 제어된다.
기술 측면에서 기존의 분산형 저장 시스템은 Filecoin, Arweave, Storj 등을 대표로 하여 모든 컴퓨터 사용자가 미사용 하드디스크 공간을 연결하고 임대하여 일정한 수수료 또는 토큰을 얻을 수 있게 한다. 모두 탈중앙화 저장이지만 각각 고유한 특징을 가지고 있으며, MEMO의 차별점은 오류 정정 코드(erasures code) 및 데이터 복구 기술을 활용해 저장 기능을 개선하여 데이터를 더욱 안전하게 하고 저장 및 다운로드를 더욱 효율적으로 만든다는 점이다. 보다 순수하고 실용적인 분산형 저장 시스템을 구축하는 것이 MEMO의 궁극적인 목표이기 때문이다.
MEMO는 저장의 사용 편의성을 강화하면서 동시에 Provider의 인센티브 메커니즘을 최적화했다. User와 Provider 역할 외에도 악성 공격으로부터 노드를 보호하기 위한 Keeper를 추가로 도입하였다. 이 시스템은 다수의 역할 간 상호 견제를 통해 경제적 균형을 유지하며, 고용량, 고가용성의 기업용 상업적 저장 용도를 지원할 수 있으며, NFT, GameFi, DeFi, SocialFi 등에 안전하고 신뢰할 수 있는 클라우드 저장 서비스를 제공할 수 있고 WEB2와도 호환되며, 블록체인과 클라우드 저장의 완벽한 융합 제품이다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
