고립된 섬에서 협업으로: 웹3 네이티브 데이터 파이프라인의 의미
작성: Jay : : FP
번역: TechFlow
2008년 비트코인 백서의 발표는 신뢰 개념에 대한 재고를 촉발했다. 이후 블록체인은 '신뢰하지 않는 시스템(Trustless System)'이라는 개념을 포함하며 그 정의를 확장했고, 개인 주권, 금융 민주화, 소유권 등 다양한 형태의 가치가 기존 시스템에 적용될 수 있다는 인식이 빠르게 확산되었다. 물론 블록체인이 실제적으로 활용되기 전까지는 검증과 논의가 광범위하게 이루어져야 하며, 다양한 기존 시스템과 비교할 때 블록체인의 특성이 다소 급진적으로 보일 수 있다. 그러나 이러한 시나리오에 낙관적인 입장을 취한다면, 데이터 파이프라인을 구축하고 블록체인 저장소에 포함된 유의미한 정보를 분석하는 것은 업계 발전의 또 다른 중요한 전환점이 될 가능성이 있으며, 우리는 이전에는 존재하지 않았던 Web3 원시 상업 지능(Web3 Native Business Intelligence)을 관찰할 수 있게 된다.
본문은 기존 IT 시장에서 흔히 사용되는 데이터 파이프라인을 Web3 환경에 투영함으로써 Web3 원시 데이터 파이프라인의 잠재력을 탐구한다. 이 글은 이러한 파이프라인의 장점, 해결해야 할 과제 및 업계에 미치는 영향에 대해 논의한다.
1. 정보 혁신에서 오는 특이점(Singularity)
"언어는 인간과 열등한 동물들 사이의 가장 중요한 차이 중 하나다. 단지 발음을 할 수 있는 능력만이 아니라, 명확한 소리를 명확한 사상과 연결시키고, 이를 사상 교류의 기호로 사용하는 것이다."
— 다윈
역사적으로, 인류 문명의 중대한 진보는 정보 공유의 혁신과 함께 이루어졌다. 우리의 조상들은 언어—구술과 문자를 포함해—서로 소통하고 지식을 후세에 전달했다. 이는 다른 종들에 비해 큰 우위를 제공했다. 서기, 종이, 인쇄술의 발명은 정보를 더욱 광범위하게 공유할 수 있게 했으며, 과학, 기술, 문화의 중대한 진보로 이어졌다. 특히 구텐베르크 성경의 금속 활자 인쇄술은 분수령이 되었는데, 책과 기타 인쇄물의 대량 생산이 가능해졌기 때문이다. 이는 종교 개혁, 민주주의 혁명, 과학적 진보의 시작에 깊은 영향을 미쳤다.
2000년대 IT 기술의 급속한 발전은 인간 행동에 대한 더 깊은 이해를 가능하게 했다. 이는 생활 방식의 변화를 가져왔으며, 현대 대부분의 사람들은 디지털 정보를 바탕으로 다양한 결정을 내린다. 이런 이유로 우리는 현대 사회를 "IT 혁신 시대"라고 부른다.
인터넷의 완전한 상업화로부터 불과 20년 만에, 인공지능(AI) 기술이 다시 한 번 세상을 놀라게 하고 있다. 인력을 대체할 수 있는 많은 애플리케이션이 등장했으며, 많은 사람들이 AI가 문명을 어떻게 변화시킬지 논의하고 있다. 일부는 부정 상태에 이르러, 어떻게 이런 기술이 우리 사회의 기반을 흔들 정도로 빠르게 등장할 수 있었는지 궁금해하기도 한다. 반도체 성능이 시간이 지남에 따라 지수적으로 증가한다는 '무어의 법칙'이 있음에도 불구하고, GPT의 등장이 가져온 변화는 너무 갑작스러워 즉각적으로 받아들이기 어렵다.
그러나 흥미롭게도 GPT 모델 자체는 사실 매우 돌파구적인 아키텍처라고 볼 수 없다. 오히려 AI 산업은 GPT 모델의 주요 성공 요인으로 다음 두 가지를 꼽는다: 1) 대규모 고객층을 위한 비즈니스 영역을 정의하고, 2) 데이터 수집부터 최종 결과 및 결과 기반 피드백까지의 일련의 과정인 데이터 파이프라인을 통해 모델을 튜닝하는 것. 간단히 말해, 서비스 제공 목적을 명확히 하고 데이터/정보 처리 프로세스를 업그레이드함으로써 이러한 애플리케이션은 혁신을 달성할 수 있었다.
2. 데이터 기반 의사결정은 어디에나 존재한다
우리가 말하는 대부분의 혁신은 운이나 직관보다는 축적된 데이터의 처리에 기반하고 있다. 속담처럼, "자본주의 시장에서는 강자가 살아남는 것이 아니라, 살아남는 자가 강하다." 오늘날 기업들의 경쟁은 치열하며 시장은 포화 상태다. 따라서 기업들은 가장 작은 니치라도 잡기 위해 다양한 데이터를 수집하고 분석하고 있다.
우리는 슈ump터의 '창조적 파괴(Creative Destruction)' 이론에 너무 몰두하여 직관에 의한 의사결정을 과도하게 중시할 수 있다. 그러나 탁월한 직관조차 결국 개인이 누적한 데이터와 정보의 산물이다. 디지털 세계는 앞으로 우리 삶에 더욱 깊숙이 침투할 것이며, 점점 더 많은 민감한 정보가 디지털 데이터 형태로 표현될 것이다.
Web3 시장은 사용자가 자신의 데이터를 통제할 수 있는 잠재력 때문에 주목받고 있다. 그러나 Web3의 기반 기술인 블록체인 분야는 현재 삼중 곤란 문제(삼각 딜레마, 즉 보안, 탈중앙화, 확장성 문제) 해결에 더 집중하고 있다. 새로운 기술이 현실 세계에서 설득력을 가지려면 다양한 방식으로 사용 가능한 애플리케이션과 지능을 개발하는 것이 중요하다. 우리는 이미 빅데이터 분야에서 이런 현상을 목격했다. 약 2010년대 이후로 빅데이터 처리 및 데이터 파이프라인 구축 방법론은 중대한 진전을 이루었다. Web3 맥락에서, 데이터 기반 지능을 생성하기 위해 데이터 흐름 시스템을 구축하고 업계 발전을 추진하려는 노력이 필요하다.
3. 체인 상 데이터 흐름 기반의 기회
그렇다면 Web3 원시 데이터 흐름 시스템에서 어떤 기회를 포착할 수 있으며, 이러한 기회를 잡기 위해 해결해야 할 도전 과제는 무엇일까?
3.1 장점
간단히 말해, Web3 원시 데이터 흐름을 구성하는 가치는 신뢰할 수 있는 데이터를 여러 주체에게 안전하고 효율적으로 배포할 수 있어, 유의미한 통찰을 추출할 수 있다는 점에 있다.
-
데이터 중복성 — 체인 상 데이터는 프로토콜 네트워크가 데이터 조각을 여러 노드에 저장하기 때문에 유실 가능성은 낮고 회복력이 뛰어나다.
-
데이터 보안성 — 체인 상 데이터는 분산된 노드로 구성된 네트워크에 의해 검증되고 합의되므로 위변조가 불가능하다.
-
데이터 주권 — 데이터 주권은 사용자가 자신의 데이터를 소유하고 제어할 권리이다. 체인 상 데이터 흐름을 통해 사용자는 자신의 데이터가 어떻게 사용되는지 확인하고, 합법적인 접근 권한이 필요한 사람들과만 공유할 수 있다.
-
허가 없이 접근 가능하고 투명함 — 체인 상 데이터는 투명하고 위변조 방지 기능을 갖추고 있다. 이는 처리되는 데이터 자체가 신뢰할 수 있는 정보 출처임을 보장한다.
-
안정적인 운영 — 데이터 흐름이 분산된 환경에서 프로토콜에 의해 조정될 경우, 단일 장애 지점이 없으므로 각 계층이 다운타임에 노출될 확률이 크게 감소한다.
3.2 응용 사례
신뢰는 서로 다른 실체들이 상호 작용하고 의사결정을 내리는 기반이다. 따라서 신뢰할 수 있는 데이터가 안전하게 배포될 수 있다면, 다양한 실체가 참여하는 Web3 서비스를 통해 많은 상호작용과 의사결정이 가능해진다는 의미이다. 이는 사회적 자본을 극대화하는 데 기여하며, 다음과 같은 응용 사례들을 상상할 수 있다.
3.2.1 서비스/프로토콜 응용
-
규칙 기반 자동화 의사결정 시스템 — 프로토콜은 서비스 운영을 위해 핵심 매개변수를 사용한다. 이러한 매개변수는 서비스 상태를 안정화하고 사용자에게 최상의 경험을 제공하기 위해 정기적으로 조정된다. 그러나 프로토콜은 항상 서비스 상태를 모니터링하고 매개변수를 동적으로 즉각 변경하기 어렵다. 여기서 체인 상 데이터 흐름이 역할을 한다. 체인 상 데이터 흐름은 서비스 상태를 실시간으로 분석하여 서비스 요구사항에 맞는 최적의 매개변수 세트를 제안하는 데 사용될 수 있다(예: 대출 프로토콜에 자동 변동 금리 메커니즘 적용).
-
신용 시장 확대 — 전통적으로 신용은 금융 시장에서 개인의 상환 능력을 측정하는 데 사용된다. 이는 시장 효율성을 높이는 데 기여한다. 그러나 Web3 시장에서는 신용의 정의가 여전히 불분명하다. 개인 데이터가 부족하고 산업 간 데이터 거버넌스가 부족하기 때문이다. 따라서 정보 통합과 수집이 어려워진다. 체인 상 분산된 데이터를 수집하고 처리하는 프로세스를 구축함으로써 Web3 시장의 신용 시장을 재정의할 수 있다(예: Spectral의 MACRO(다중 자산 신용 리스크 오라클) 점수).
-
탈중앙화 소셜 / NFT 확장 — 탈중앙화 사회는 사용자 통제, 개인정보 보호, 검열 저항, 커뮤니티 거버넌스를 우선시한다. 이는 대안적 사회 패러다임을 제공한다. 따라서 다양한 메타데이터를 보다 원활하게 제어하고 업데이트하는 파이프라인을 구축하고 플랫폼 간 이동을 촉진할 수 있다.
-
사기 탐지 — 스마트 계약을 사용하는 Web3 서비스는 자금을 훔치거나 시스템을 침입하거나 디커플링 및 유동성 공격을 유도할 수 있는 악성 공격에 취약하다. 이러한 공격을 사전에 탐지할 수 있는 시스템을 구축함으로써 Web3 서비스는 신속한 대응 계획을 수립하고 사용자를 보호할 수 있다.
3.2.2 협업 및 거버넌스 이니셔티브
-
완전 체인 상 DAO — 탈중앙화 자율 조직(DAO)은 거버넌스 및 공적 자금의 효과적 실행에 크게 의존하는 체인 외 도구에 의존하고 있다. 체인 상 데이터 처리 프로세스를 구축하여 DAO 운영을 위한 투명한 프로세스를 만들면 Web3 원시 DAO의 가치를 더욱 강화할 수 있다.
-
거버넌스 피로 완화 — Web3 프로토콜의 결정은 일반적으로 커뮤니티 거버넌스를 통해 이루어진다. 그러나 지리적 장벽, 감시 압박, 거버넌스에 필요한 전문 지식 부족, 무작위로 발표되는 거버넌스 의제, 불편한 사용자 경험 등 참여자가 거버넌스에 참여하기 어렵게 만드는 여러 요인이 있다. 만약 사용자가 거버넌스 의제 항목을 이해하고 실제로 시행하는 과정을 단순화할 수 있는 도구를 만들 수 있다면, 프로토콜 거버넌스 프레임워크는 보다 효율적이고 효과적으로 운영될 수 있다.
-
협업 작품을 위한 공개 데이터 플랫폼 — 기존 학계 및 산업계에서는 많은 데이터와 연구 자료가 공개되지 않아 시장 전체의 발전이 매우 비효율적일 수 있다. 반면에 체인 상 데이터 풀은 누구에게나 투명하고 접근 가능하므로 기존 시장보다 더 많은 협업 이니셔티브를 촉진할 수 있다. 많은 토큰 표준과 DeFi 솔루션의 발전이 좋은 예이다. 또한 다양한 목적을 위해 공공 데이터 풀을 운영할 수 있다.
3.2.3 네트워크 진단
-
지표 연구 — Web3 사용자는 프로토콜 상태를 분석하고 비교하기 위해 다양한 지표를 생성한다. 여러 객관적 지표를 연구하고 실시간으로 표시할 수 있다(예: Nakaflow의 나카모토 계수).
-
프로토콜 지표 — 활성 주소 수, 거래 수, 자산 유입/유출, 네트워크가 생성하는 수수료 등의 데이터를 처리함으로써 프로토콜의 성능을 분석할 수 있다. 이러한 정보는 특정 프로토콜 업데이트의 영향, MEV 상태, 네트워크 건강 상태 등을 평가하는 데 사용될 수 있다.
3.3 도전 과제
체인 상 데이터는 산업 가치를 증가시킬 수 있는 독특한 장점을 가지고 있다. 그러나 이러한 장점을 충분히 실현하기 위해서는 업계 내외부의 많은 도전 과제를 해결해야 한다.
-
데이터 거버넌스 부족 — 데이터 거버넌스는 각 데이터 원소의 통합을 촉진하기 위해 일관되고 공유되는 데이터 정책과 표준을 수립하는 과정이다. 현재 각 체인 상 프로토콜은 자체 표준을 설정하고 자체 데이터 유형을 검색한다. 그러나 문제는 이러한 프로토콜 데이터를 집계하고 API 서비스를 제공하는 실체들 사이에 데이터 거버넌스가 부족하다는 점이다. 이로 인해 서비스 간 통합이 어려워지고, 결과적으로 사용자가 신뢰할 수 있고 포괄적인 통찰을 얻기 어렵게 된다.
-
비용 효율성 부족 — 냉각 데이터(cold data)를 프로토콜에 저장하면 사용자가 데이터 보안 및 서버 비용을 절약할 수 있다. 그러나 분석을 위해 데이터에 빈번하게 접근하거나 많은 컴퓨팅 리소스가 필요할 경우 블록체인에 저장하는 것이 비경제적일 수 있다.
-
오라클 문제 — 스마트 계약은 현실 세계의 데이터에 접근할 수 있을 때 비로소 제 기능을 수행할 수 있다. 그러나 이러한 데이터는 항상 신뢰할 수 있거나 일관적이지는 않다. 합의 알고리즘을 통해 무결성을 유지하는 블록체인과 달리 외부 데이터는 결정적이지 않다. 오라클 솔루션은 특정 애플리케이션 계층에 의존하지 않고 외부 데이터의 무결성, 품질, 확장성을 보장하기 위해 계속 발전해야 한다.
-
프로토콜은 초기 단계에 있음 — 프로토콜은 서비스를 유지하고 서비스 비용을 지불하기 위해 자체 토큰으로 사용자를 인센티브한다. 그러나 서비스 운영에 필요한 매개변수(예: 서비스 사용자의 정확한 정의 및 인센티브 방식)는 일반적으로 미숙하게 관리된다. 이는 프로토콜의 경제적 지속 가능성을 검증하기 어렵게 만든다. 만약 많은 프로토콜이 유기적으로 연결되어 데이터 파이프라인을 생성한다면, 파이프라인이 잘 작동할 수 있을지에 대한 불확실성은 더욱 커질 것이다.
-
데이터 검색 속도 느림 — 프로토콜은 일반적으로 많은 노드의 합의를 통해 거래를 처리하므로 전통적인 IT 비즈니스 로직과 비교해 정보 처리 속도와 양이 제한된다. 이러한 병목 현상은 파이프라인을 구성하는 모든 프로토콜의 성능이 크게 향상되지 않는 한 해결하기 어렵다.
-
Web3 데이터의 진정한 가치 — 블록체인은 고립된 시스템이며 아직 현실 세계와 연결되지 않았다. Web3 데이터를 수집할 때 수집된 데이터가 데이터 파이프라인 구축 비용을 지불할 만큼 의미 있는 통찰을 제공할 수 있는지 고려해야 한다.
-
익숙하지 않은 문법 — 기존 IT 데이터 인프라와 블록체인 인프라는 작동 방식이 매우 다르다. 사용하는 프로그래밍 언어조차 다르며, 블록체인 인프라는 일반적으로 저수준 언어 또는 블록체인 요구에 맞춰 설계된 새로운 언어를 사용한다. 이는 새로운 개발자와 서비스 사용자가 각 데이터 원소를 처리하는 방법을 배우기 어렵게 만들며, 새로운 프로그래밍 언어나 블록체인 데이터를 처리하는 새로운 사고방식을 배워야 하기 때문이다.
4. 파이프라인화된 Web3 데이터 레고
현재 Web3 데이터 원소들 사이에는 연결이 없으며, 각각 독립적으로 데이터를 추출하고 처리한다. 이는 정보 처리의 시너지를 실험하기 어렵게 만든다. 이 문제를 해결하기 위해 본문은 IT 시장에서 흔히 사용되는 데이터 파이프라인을 소개하고 기존 Web3 데이터 원소들을 해당 파이프라인에 매핑한다. 이를 통해 사용 사례를 더욱 구체화할 수 있다.
4.1 일반적인 데이터 파이프라인
데이터 파이프라인 구축은 일상생활에서 반복적인 의사결정 과정을 개념화하고 자동화하는 과정과 같다. 이를 통해 사람들은 언제든지 필요한 특정 품질의 정보를 쉽게 얻어 의사결정에 활용할 수 있다. 처리해야 할 비구조화된 데이터가 많을수록, 정보 사용 빈도가 높을수록, 실시간 분석이 필요할수록 이 일련의 과정을 자동화함으로써 미래 의사결정에 필요한 능동성을 확보하는 데 드는 시간과 비용을 절약할 수 있다.
위 그림은 기존 IT 인프라 시장에서 데이터 파이프라인을 구축하기 위해 사용되는 일반적인 아키텍처를 보여준다. 분석 목적에 적합한 데이터는 올바른 데이터 소스에서 수집되며, 데이터의 성격과 분석 요구에 따라 적절한 저장 솔루션에 저장된다. 예를 들어, 데이터 레이크는 확장성과 유연한 분석을 위한 원시 데이터 저장 솔루션을 제공하는 반면, 데이터 웨어하우스는 특정 비즈니스 로직에 최적화된 쿼리 및 분석을 위해 구조화된 데이터 저장에 중점을 둔다. 이후 데이터는 다양한 방식으로 통찰력이나 실용적인 정보로 가공된다.
각 솔루션 계층은 패키지 서비스 형태로도 제공될 수 있다. 데이터 추출부터 적재까지의 일련의 과정을 연결하는 ETL(Extract, Transform, Load) SaaS 제품군도 점점 더 주목받고 있다(FiveTran, Panoply, Hivo, Rivery 등). 순서가 항상 일방향일 필요는 없으며, 조직의 특정 요구에 따라 계층들이 다양한 방식으로 상호 연결될 수 있다. 데이터 파이프라인을 구축할 때 가장 중요한 것은 각 서버 계층에서 데이터를 보내고 받을 때 발생할 수 있는 데이터 손실 위험을 최소화하는 것이다. 이는 서버의 결합도(degree of coupling)를 최적화하고 신뢰할 수 있는 데이터 저장 및 처리 솔루션을 사용함으로써 달성할 수 있다.
4.2 체인 상 환경의 파이프라인
앞서 소개한 데이터 파이프라인의 개념도는 위 그림과 같이 체인 상 환경에 적용할 수 있지만, 완전히 탈중앙화된 파이프라인은 형성될 수 없으며 각 기본 구성 요소가 어느 정도는 중심화된 체인 외 솔루션에 의존한다는 점에 유의해야 한다. 또한 위 그림은 현재 모든 Web3 솔루션을 포함하지 않으며, 분류 경계가 모호할 수 있다—예를 들어 KYVE는 스트리밍 플랫폼 외에도 데이터 레이크 기능을 포함하며, 스스로 하나의 데이터 파이프라인으로 볼 수 있다. 또한 Space and Time는 탈중앙화 데이터베이스로 분류되지만, RestAPI 및 스트리밍 등의 API 게이트웨이 서비스와 ETL 서비스를 제공한다.
4.2.1 캡처/처리
일반 사용자나 dApp이 서비스를 효율적으로 사용/운영하기 위해서는 거래, 상태, 로그 이벤트 등 프로토콜 내부에서 생성되는 데이터 소스를 쉽게 식별하고 접근할 수 있어야 한다. 이 계층은 오라클, 메시지 전달, 인증, API 관리 등의 프로세스를 지원하는 미들웨어가 작용하는 부분이다. 주요 솔루션은 다음과 같다.
스트리밍/인덱싱 플랫폼
-
Bitquery, Ceramic, KYVE, Lens, Streamr Network, The Graph, 각 프로토콜의 블록 탐색기 등.
노드 서비스 및 기타 RPC/API 서비스
-
Alchemy, All that Node, Infura, Pocket Network, Quicknode 등.
오라클
-
API3, Band Protocol, Chainlink, Nest Protocol, Pyth, Supra Oracle 등.
4.2.2 저장
Web2 저장 솔루션과 비교해 Web3 저장 솔루션은 지속성과 탈중앙화 등의 몇 가지 장점을 가지고 있다. 그러나 높은 비용, 데이터 업데이트 및 쿼리의 어려움 등의 단점도 있다. 따라서 이러한 단점을 해결하고 Web3 상의 구조화되고 동적인 데이터를 효율적으로 처리할 수 있는 다양한 솔루션이 등장하고 있으며—각 솔루션은 처리하는 데이터 유형, 구조화 여부, 내장 쿼리 기능 유무 등에 따라 특성이 다르다.
탈중앙화 저장 네트워크
-
Arweave, Filecoin, KYVE, Sia, Storj 등.
탈중앙화 데이터베이스
-
Arweave 기반 데이터베이스(Glacier, HollowDB, Kwil, WeaveDB), ComposeDB, OrbitDB, Polybase, Space and Time, Tableland 등.
*각 프로토콜은 서로 다른 영구 저장 메커니즘을 갖춘다. 예를 들어 Arweave는 이더리움 저장과 유사한 블록체인 기반 모델로 데이터를 영구적으로 체인 상에 저장하는 반면, Filecoin, Sia, Storj는 데이터를 체인 외에 저장하는 계약 기반 모델이다.
4.2.3 변환
Web3 맥락에서 변환 계층은 저장 계층만큼 중요하다. 블록체인의 구조는 기본적으로 분산된 노드 집합으로 구성되어 확장 가능한 백엔드 로직 사용이 용이하기 때문이다. 인공지능 산업에서는 이러한 장점을 활용해 연합 학습(Federated Learning) 분야의 연구를 적극적으로 탐구하고 있으며, 머신러닝 및 인공지능 작업을 위한 전용 프로토콜이 등장하고 있다.
데이터 훈련/모델링/컴퓨팅
-
Akash, Bacalhau, Bittensor, Gensyn, Golem, Together 등.
*연합 학습은 원시 모델을 여러 원생 클라이언트에 분산시켜 저장된 데이터로 훈련한 후 중앙 서버에서 학습된 매개변수를 수집하여 인공지능 모델을 훈련하는 방법이다.
4.2.4 분석/사용
아래 나열된 대시보드 서비스와 최종 사용자 인사이트 및 분석 솔루션은 사용자가 특정 프로토콜에서 다양한 통찰을 관찰하고 발견할 수 있도록 하는 플랫폼이다. 이러한 솔루션 중 일부는 최종 제품에 대해 API 서비스도 제공한다. 그러나 주의할 점은 이 솔루션들의 데이터가 항상 정확한 것은 아니며, 대부분 별도의 체인 외 도구를 사용해 데이터를 저장하고 처리하기 때문이라는 점이다. 솔루션 간 오류도 관찰될 수 있다.
동시에 'Web3 Functions'라는 플랫폼이 있는데, 이는 구글 클라우드 같은 중심화된 플랫폼이 특정 비즈니스 로직을 트리거하고 실행하는 것처럼 스마트 계약의 실행을 자동화/트리거할 수 있다. 이 플랫폼을 사용하면 사용자는 체인 상 데이터를 처리하여 인사이트를 얻는 것을 넘어서 Web3 원시 방식으로 비즈니스 로직을 구현할 수 있다.
대시보드 서비스
-
Dune Analytics, Flipside Crypto, Footprint, Transpose 등.
최종 사용자 인사이트 및 분석
-
Chainalysis, Glassnode, Messari, Nansen, The Tie, Token Terminal 등.
Web3 Functions
-
Chainlink Functions, Gelato Network 등.
5. 마무리 생각
칸트가 말했듯이 우리는 사물의 현상만을 목격할 수 있을 뿐 본질에는 닿을 수 없다. 그럼에도 불구하고 우리는 '데이터'라 불리는 관측 기록을 이용해 정보와 지식을 처리하며, 정보기술의 혁신이 문명 발전을 어떻게 이끌었는지 살펴볼 수 있다. 따라서 Web3 시장에서 데이터 파이프라인을 구축하는 것은 탈중앙화라는 특징 외에도 이러한 기회를 실제로 포착하기 위한 출발점으로서 핵심적인 역할을 할 수 있다. 본문을 몇 가지 생각으로 마무리하고자 한다.
5.1 저장 솔루션의 역할은 더욱 중요해질 것이다
데이터 파이프라인을 갖추기 위한 가장 중요한 전제는 데이터 및 API 거버넌스를 수립하는 것이다. 다양성이 증가하는 생태계에서 각 프로토콜이 생성하는 규칙은 계속해서 재창출될 것이며, 멀티체인 생태계로 인한 분산된 거래 기록은 개인이 종합적인 통찰을 도출하기 어렵게 만들 것이다. 이때 '저장 솔루션'은 분산된 정보를 수집하고 각 프로토콜의 규칙을 업데이트하여 통합된 데이터를 일관된 형식으로 제공할 수 있는 실체가 된다. 기존 시장에서 Snowflake 및 Databricks와 같은 저장 솔루션이 파이프라인 내 다양한 계층을 수직 통합하며 업계를 선도하고 광범위한 고객층을 확보하며 빠르게 성장하고 있는 현상을 관찰할 수 있다.
5.2 데이터 소스 시장의 기회
데이터 접근성이 높아지고 처리 프로세스가 개선되면 성공적인 사용 사례가 나타나기 시작한다. 이는 데이터 소스와 수집 도구가 폭발적으로 등장하는 긍정적인 순환 효과를 만들어낸다—2010년대 이후 데이터 파이프라인 구축 기술의 중대한 진전으로 매년 수집되는 디지털 데이터의 유형과 양이 지수적으로 증가하고 있다. 이러한 배경을 Web3 시장에 적용하면, 앞으로 체인 상에서 많은 데이터 소스가 재귀적으로 생성될 수 있다. 이는 블록체인이 다양한 비즈니스 영역으로 확장될 것임을 의미한다. 이 지점에서 Ocean Protocol과 같은 데이터 시장이나 Helium 및 XNET과 같은 DeWi(탈중앙화 무선) 솔루션 및 저장 솔루션을 통해 데이터 수집이 진전될 것으로 예상할 수 있다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
Four Pillars
