분산형 데이터 레이어: AI 시대의 새로운 인프라
글: IOSG Ventures
TL/DR
AI와 Web3가 컴퓨팅 네트워크, 에이전트 플랫폼 및 소비자 애플리케이션 등 다양한 분야에서 서로 보완할 수 있는 방식에 대해 논의한 바 있다. 데이터 자원이라는 세부 분야에 주목하면, 웹(Web) 기반의 신생 프로젝트들이 데이터 확보, 공유 및 활용에 새로운 가능성을 제시하고 있다.
-
기존 데이터 제공업체는 고품질, 실시간 검증 가능한 데이터에 대한 AI 및 기타 데이터 중심 산업의 요구를 충족시키는 데 어려움을 겪고 있으며, 특히 투명성, 사용자 통제 및 개인정보 보호 측면에서 한계가 있다.
-
Web3 솔루션은 데이터 생태계를 재구성하려 하고 있다. MPC(다자간 안전계산), 제로지식 증명(ZKP), TLS 노터리(TLS Notary) 등의 기술은 다수 출처 간 데이터 이동 시 진위성과 개인정보 보호를 보장하며, 분산 스토리지 및 엣지 컴퓨팅은 데이터 실시간 처리에 더 높은 유연성과 효율성을 제공한다.
-
특히 탈중앙화 데이터 네트워크라는 신규 인프라를 중심으로 OpenLayer(모듈형 실데이터 계층), Grass(사용자의 유휴 대역폭과 탈중앙화 크롤러 노드 네트워크 활용), Vana(사용자 데이터 주권 전용 Layer 1 네트워크) 같은 대표적 프로젝트들이 등장하여 각기 다른 기술 경로를 통해 AI 학습 및 애플리케이션 분야에 새로운 전망을 열어가고 있다.
-
분산된 용량, 신뢰 불필요 추상화 계층, 토큰 기반 인센티브 메커니즘을 통해 탈중앙화 데이터 인프라는 Web2 초거대 서비스 제공업체보다 더욱 사생활 친화적이며, 안전하고 효율적이며 경제적인 솔루션을 제공할 수 있으며, 사용자가 자신의 데이터와 관련 자산에 대한 통제권을 가지도록 함으로써 보다 개방적이고, 안전하며, 상호 운용 가능한 디지털 생태계를 구축할 수 있다.
1. 데이터 수요 물결
데이터는 이제 모든 산업 분야에서 혁신과 의사 결정을 이끄는 핵심 요소가 되었다. UBS는 2020년부터 2030년까지 전 세계 데이터량이 10배 이상 성장하여 660ZB에 이를 것으로 예측하며, 2025년에는 전 세계인 1인당 매일 463EB(엑사바이트, 1EB = 10억 GB)의 데이터를 생성할 것으로 내다보고 있다. 데이터를 서비스로서 제공(DaaS)하는 시장 또한 급속도로 확장 중이다. Grand View Research 보고서에 따르면 글로벌 DaaS 시장은 2023년 기준 143.6억 달러 규모이며, 2030년까지 연평균 28.1% 성장률(CAGR)로 768억 달러에 이를 전망이다. 이러한 높은 성장세는 여러 산업 분야에서 고품질, 실시간 신뢰 가능한 데이터에 대한 강력한 수요를 반영한다.
AI 모델 학습은 패턴 인식과 파라미터 조정을 위해 방대한 양의 입력 데이터를 필요로 한다. 학습 후에도 모델 성능과 일반화 능력을 평가하기 위한 테스트 데이터셋이 필요하다. 게다가 미래 지능형 애플리케이션 형태로 예상되는 AI 에이전트(AI agent)는 정확한 의사결정과 작업 수행을 위해 실시간 신뢰 가능한 데이터 소스를 필요로 한다.
(출처: Leewayhertz)
비즈니스 분석 수요 또한 다양하고 광범위하게 확대되며 기업 혁신의 핵심 도구가 되고 있다. 예를 들어 소셜미디어 플랫폼이나 시장 조사 회사는 전략 수립과 트렌드 분석을 위해 신뢰할 수 있는 사용자 행동 데이터를 필요로 하며, 여러 소셜 플랫폼의 다중 데이터를 통합해 보다 포괄적인 사용자 프로파일을 구성한다.
Web3 생태계에서도 새로운 금융 상품을 지원하기 위해 체인 상에서 신뢰할 수 있고 현실적인 데이터가 필요하다. 점점 더 많은 자산이 토큰화됨에 따라, 혁신적인 제품 개발과 리스크 관리를 지원할 수 있는 유연하고 신뢰할 수 있는 데이터 인터페이스가 필요하며, 스마트 계약이 검증 가능한 실시간 데이터를 기반으로 실행될 수 있도록 해야 한다.
이 외에도 과학 연구, 사물인터넷(IoT) 등 다양한 분야가 있다. 새로운 사례들은 각 산업 분야에서 다양한 종류의 실제적이고 실시간 데이터에 대한 수요가 급증하고 있음을 보여주며, 기존 시스템은 빠르게 증가하는 데이터량과 변화하는 수요를 따라잡기 어렵다는 문제에 직면하고 있다.
2. 전통적 데이터 생태계의 한계와 문제점
전형적인 데이터 생태계는 데이터 수집, 저장, 처리, 분석 및 활용을 포함한다. 중앙집중형 모델은 데이터를 집중적으로 수집하고 저장하며, 핵심 기업의 IT 팀이 운영 및 관리하고 엄격한 접근 제어를 시행하는 것이 특징이다.
예를 들어 구글의 데이터 생태계는 검색엔진, Gmail부터 안드로이드 운영체제에 이르기까지 다양한 데이터 소스를 아우르며, 이러한 플랫폼을 통해 사용자 데이터를 수집하고 전 세계에 분포된 데이터센터에 저장한 후 알고리즘을 사용하여 처리·분석함으로써 다양한 제품과 서비스의 개발 및 최적화를 지원한다.
금융시장에서는 LSEG(구 Refinitiv)가 전 세계 거래소, 은행 및 기타 주요 금융기관으로부터 실시간 및 역사적 데이터를 취득하고, 자체 르노(Renewts) 뉴스 네트워크를 통해 시장 관련 뉴스를 수집하며, 독자적인 알고리즘과 모델을 적용해 분석 데이터 및 리스크 평가를 부가 상품으로 제공한다.
(출처: kdnuggets.com)
기존 데이터 아키텍처는 전문 서비스 영역에서는 효과적이나 중앙집중형 모델의 한계가 점점 더 명확해지고 있다. 특히 신생 데이터 소스의 포괄성, 투명성 및 개인정보 보호 측면에서 전통적 데이터 생태계는 점점 더 큰 도전에 직면하고 있다. 다음 몇 가지 측면을 살펴보자:
-
데이터 커버리지 부족: 기존 데이터 제공업체는 소셜미디어 감정, IoT 장치 데이터와 같은 신생 데이터 소스를 신속하게 포착하고 분석하는 데 어려움을 겪고 있다. 중앙집중형 시스템은 다수의 소규모 또는 비주류 소스에서 발생하는 '롱테일(Long-tail)' 데이터를 효율적으로 수집하고 통합하기 어렵다.
2021년 게임스탑(GameStop) 사건은 전통 금융 데이터 제공업체가 소셜미디어 감정을 분석하는 데 있어 어떤 한계를 드러냈는지를 잘 보여준다. Reddit 등의 플랫폼에서 투자자들의 감정이 급속도로 시장 흐름을 바꿨지만, Bloomberg나 Reuters와 같은 데이터 터미널은 그러한 동향을 즉각적으로 포착하지 못했으며, 이로 인해 시장 예측이 지연되었다.
-
데이터 접근성 제한: 독점은 접근성을 제한한다. 많은 전통 제공업체가 API/클라우드 서비스를 통해 일부 데이터를 공개하지만, 높은 접근 비용과 복잡한 인증 절차는 여전히 데이터 통합의 난이도를 높인다.
-
체인 상 개발자들은 신뢰할 수 있는 오프체인 데이터에 신속하게 접속하기 어렵고, 고품질 데이터는少数 거대 기업에 의해 독점되어 접근 비용이 매우 높다.
-
데이터 투명성 및 신뢰성 문제: 많은 중앙집중형 데이터 제공업체는 데이터 수집 및 처리 방법에 대한 투명성이 부족하며, 대규모 데이터의 진위성과 무결성을 검증할 수 있는 효과적인 메커니즘이 없다. 대규모 실시간 데이터 검증은 여전히 복잡한 문제이며, 중앙집중화된 본질은 데이터가 조작되거나 왜곡될 위험을 증가시킨다.
-
개인정보 보호 및 데이터 소유권: 대형 기술 기업들은 사용자 데이터를 대규모로 상업적으로 활용하고 있다. 개인 데이터의 창조자인 사용자는 그로부터 적절한 가치 보상을 받기 어렵다. 사용자들은 자신의 데이터가 어떻게 수집되고 처리되며 사용되는지 알기 어렵고, 데이터 사용 범위와 방식을 결정하기도 어렵다. 과도한 수집과 사용은 심각한 개인정보 침해 위험을 초래한다.
-
예를 들어 페이스북의 캠브리지 애널리티카(Cambridge Analytica) 사건은 전통 데이터 제공업체가 데이터 사용 투명성과 개인정보 보호 측면에서 얼마나 큰 허점을 가지고 있었는지를 적나라하게 드러냈다.
-
데이터 사이로: 게다가 서로 다른 출처와 형식의 실시간 데이터는 신속한 통합이 어렵고, 이는 포괄적 분석 가능성에 영향을 준다. 많은 데이터는 조직 내부에 고립되어 있어, 산업 간 및 조직 간 데이터 공유와 혁신을 제한하며, 데이터 사이로 현상이 교차 영역 데이터 통합 및 분석을 가로막고 있다.
-
예를 들어 소비재 산업에서 브랜드는 전자상거래 플랫폼, 실물 매장, 소셜미디어 및 시장 조사 데이터를 통합해야 하지만, 플랫폼 형식이 일치하지 않거나 고립되어 있기 때문에 통합이 어렵다. 또 다른 예로 우버(Uber)와 리프트(Lyft)와 같은 공유 이동 서비스 회사는 사용자로부터 교통, 승객 수요, 위치 정보 등 실시간 데이터를 대량으로 수집하지만 경쟁 관계 때문에 이러한 데이터를 공유하거나 통합할 수 없다.
이 외에도 비용 효율성, 유연성 등의 문제가 있다. 전통 데이터 사업자들은 이러한 문제들에 적극적으로 대응하고 있지만, 급부상하는 Web3 기술은 이러한 문제들을 해결할 수 있는 새로운 아이디어와 가능성을 제공하고 있다.
3. Web3 데이터 생태계
2014년 IPFS(InterPlanetary File System)와 같은 탈중앙화 스토리지 솔루션이 등장한 이래, 업계에서는 기존 데이터 생태계의 한계를 해결하기 위한 일련의 신생 프로젝트들이 등장하였다. 우리는 탈중앙화 데이터 솔루션이 데이터 생성, 저장, 교환, 처리 및 분석, 검증 및 보안, 개인정보 및 소유권 등 데이터 생애주기의 각 단계를 아우르는 다층적이고 상호 연결된 생태계를 형성하고 있음을 확인할 수 있다.
-
데이터 저장: Filecoin과 Arweave의 급속한 발전은 탈중앙화 스토리지(DCS)가 저장 분야에서 범식적 전환을 이루고 있음을 입증하고 있다. DCS 솔루션은 분산형 아키텍처를 통해 단일 실패 지점 위험을 줄이며 동시에 경쟁력 있는 비용 효율성으로 참여자를 유인한다. 일련의 대규모 적용 사례가 등장함에 따라 DCS의 저장 용량은 폭발적으로 증가하고 있다(예: Filecoin 네트워크의 총 저장 용량은 2024년 현재 22엑사바이트에 도달).
-
처리 및 분석: Fluence와 같은 탈중앙화 데이터 연산 플랫폼은 엣지 컴퓨팅(Edge Computing) 기술을 통해 데이터 처리의 실시간성과 효율성을 향상시켰으며, 특히 사물인터넷(IoT) 및 AI 추론과 같이 실시간성이 중요한 애플리케이션 시나리오에 적합하다. Web3 프로젝트들은 연합 학습(Federated Learning), 차등 개인정보 보호(Differential Privacy), 신뢰할 수 있는 실행 환경(TEE), 완전 동형 암호화(Fully Homomorphic Encryption) 등의 기술을 계산 계층에서 유연한 개인정보 보호 및 균형을 제공한다.
-
데이터 마켓 / 교환 플랫폼: 데이터의 가치 측정 및 유통을 촉진하기 위해 Ocean Protocol은 토큰화 및 DEX 메커니즘을 통해 효율적이고 개방적인 데이터 교환 채널을 만들었다. 예를 들어 전통 제조 기업(메르세데스-벤츠 모회사 다임러)과 협력하여 데이터 교환 시장을 개발하여 공급망 관리에서의 데이터 공유를 지원했다. 반면 Streamr은 IoT 및 실시간 분석 시나리오에 적합한 무허가, 구독 기반 데이터 스트림 네트워크를 만들어 교통, 물류 프로젝트에서 뛰어난 가능성을 보여주었다(예: 핀란드 스마트시티 프로젝트와 협력).
데이터 교환과 활용이 점점 더 빈번해짐에 따라 데이터의 진위성, 신뢰성 및 개인정보 보호는 간과할 수 없는 핵심 문제가 되었다. 이는 Web3 생태계가 혁신을 데이터 검증 및 개인정보 보호 분야로 확장하게 만들었으며, 일련의 획기적인 솔루션을 탄생시켰다.
3.1 데이터 검증 및 개인정보 보호의 혁신
많은 Web3 기술 및 원생 프로젝트들이 데이터 진위성과 개인정보 보호 문제 해결을 위해 노력하고 있다. ZK, MPC 등의 기술이 널리 사용되고 있는데, 그 중에서도 전송계층 보안 프로토콜 공증(TLS Notary)은 주목할 만한 새로운 검증 방법으로 자리 잡고 있다.
TLS Notary 소개
전송계층 보안 프로토콜(TLS)은 클라이언트와 서버 간 데이터 전송의 보안성, 무결성, 기밀성을 보장하기 위해 널리 사용되는 암호화 프로토콜이다. HTTPS, 이메일, 인스턴트 메시징 등 다양한 시나리오에서 사용되는 현대 웹 통신의 일반적인 암호화 표준이다.
(TLS 암호화 원리, 출처: TechTarget)
10년 전 탄생 당시 TLS Notary의 초기 목표는 클라이언트(Prover)와 서버 외에 제3의 '공증인'을 도입하여 TLS 세션의 진위성을 검증하는 것이었다.
키 분할 기술을 사용해 TLS 세션의 주요 키를 두 부분으로 나누어 클라이언트와 공증인이 각각 보유하게 된다. 이 설계를 통해 공증인은 신뢰할 수 있는 제3자로서 검증 과정에 참여할 수 있지만 실제 통신 내용에 접근할 수는 없다. 이 공증 메커니즘은 중간자 공격(MITM)을 탐지하고, 사기성 인증서를 방지하며, 전송 중 데이터가 변조되지 않았음을 보장하고, 신뢰할 수 있는 제3자가 통신의 합법성을 확인할 수 있도록 하면서도 통신 개인정보를 보호하는 것을 목표로 한다.
이렇게 TLS Notary는 안전한 데이터 검증을 제공하면서 검증 수요와 개인정보 보호 사이의 균형을 효과적으로 유지한다.
2022년, TLS Notary 프로젝트는 이더리움 재단의 개인정보 및 확장성 탐색(PSE) 연구소에 의해 재구성되었다. 새 버전의 TLS Notary 프로토콜은 Rust 언어로 처음부터 다시 작성되었으며, MPC 등의 더 진보된 암호화 프로토콜을 통합하였다. 새로운 프로토콜 기능은 사용자가 서버로부터 수신한 데이터의 진위성을 제3자에게 증명할 수 있게 하되, 데이터 내용은 공개하지 않는다. 기존 TLS Notary의 핵심 검증 기능을 유지하면서 개인정보 보호 능력을 크게 향상시켜 현재 및 미래의 데이터 개인정보 보호 요구에 더 적합하게 되었다.
3.2 TLS Notary의 변종 및 확장
최근 들어 TLS Notary 기술은 계속 진화하며 기반 위에 여러 변종을 발전시켜 개인정보 보호 및 검증 기능을 더욱 강화하고 있다:
-
zkTLS: TLS Notary의 개인정보 보호 강화 버전으로, ZKP 기술을 결합하여 민감 정보를 노출하지 않고도 웹 페이지 데이터의 암호화된 증명을 생성할 수 있다. 개인정보 보호가 극도로 중요한 통신 시나리오에 적합하다.
-
3P-TLS (Three-Party TLS): 클라이언트, 서버, 감사자(auditor)의 3자 구조를 도입하여 통신 내용을 공개하지 않으면서도 감사자가 통신의 보안성을 검증할 수 있도록 한다. 규제 준수 검토 또는 금융 거래 감사와 같이 투명성과 개인정보 보호가 모두 요구되는 시나리오에서 매우 유용하다.
Web3 프로젝트들은 이러한 암호화 기술을 사용하여 데이터 검증 및 개인정보 보호를 강화하고, 데이터 독점을 깨뜨리며, 데이터 사이로 및 신뢰 가능한 전송 문제를 해결하고 있다. 사용자들은 개인정보를 노출하지 않고도 소셜 미디어 계정 소유권, 금융 대출용 구매 기록, 은행 신용 기록, 직업 배경 및 학력 인증 등을 증명할 수 있다. 예를 들면:
-
Reclaim Protocol은 zkTLS 기술을 사용하여 HTTPS 트래픽의 제로지식 증명을 생성하고, 사용자가 외부 웹사이트에서 활동, 평판, 신원 데이터를 안전하게 가져올 수 있도록 하되 민감 정보를 노출하지 않는다.
-
zkPass는 3P-TLS 기술을 결합하여 사용자가 현실 세계의 개인정보를 노출하지 않고 검증할 수 있도록 하며, KYC, 신용 서비스 등의 시나리오에 광범위하게 적용되며 HTTPS 네트워크와 호환된다.
-
Opacity Network는 zkTLS 기반으로 사용자가 Uber, Spotify, Netflix 등 다양한 플랫폼에서의 활동을 안전하게 증명할 수 있도록 하되, 해당 플랫폼의 API에 직접 접근할 필요가 없게 하며, 크로스플랫폼 활동 증명을 실현한다.
(TLS 오라클을 개발 중인 프로젝트들, 출처: Bastian Wetzel)
Web3 데이터 검증은 데이터 생태계의 중요한 고리로서 광범위한 응용 전망을 가지고 있으며, 그 생태계의 번창은 보다 개방적이고 역동적이며 사용자 중심의 디지털 경제를 이끌고 있다. 그러나 진위성 검증 기술의 발전은 차세대 데이터 인프라 구축의 시작에 불과하다.
4. 탈중앙화 데이터 네트워크
일부 프로젝트는 위에서 언급한 데이터 검증 기술을 결합하여 데이터 생태계의 상류, 즉 데이터 출처 추적, 데이터의 분산 수집 및 신뢰 가능한 전송에 대해 더 깊이 있는 탐색을 진행하고 있다. 아래에서는 OpenLayer, Grass, Vana 등 대표적 프로젝트들을 중심으로 논의하며, 이들이 차세대 데이터 인프라 구축에서 보여주는 독특한 잠재력을 살펴본다.
4.1 OpenLayer
OpenLayer는 a16z Crypto의 2024년 봄 암호화 스타트업 액셀러레이터 프로그램에 선정된 프로젝트로, 최초의 모듈형 실데이터 계층(Moduleular Authentic Data Layer)을 지향하며 Web2 및 Web3 기업의 요구를 동시에 충족시키기 위해 데이터 수집, 검증, 변환을 조율하는 혁신적인 모듈형 솔루션을 제공한다. OpenLayer는 Geometry Ventures, LongHash Ventures 등 저명한 펀드 및 엔젤 투자자들의 지지를 받고 있다.
기존 데이터 계층은 여러 가지 도전에 직면해 있다. 신뢰할 수 있는 검증 메커니즘이 부족하며, 중앙집중형 아키텍처에 의존하여 접근성이 제한되고, 서로 다른 시스템 간 데이터는 상호 운용성과 유동성이 부족하며, 또한 공정한 데이터 가치 분배 메커니즘도 없다.
좀 더 구체적인 문제 하나는 현재 AI 학습용 데이터가 점점 더 부족해지고 있다는 것이다. 공개 인터넷 상에서 많은 웹사이트들이 AI 기업의 대규모 데이터 수집을 방지하기 위해 크롤링 제한 조치를 취하고 있다.
또한 비공개 전용 데이터 측면에서는 상황이 더욱 복잡하다. 많은 가치 있는 데이터는 민감한 성격 때문에 개인정보 보호 방식으로 저장되어 있으며, 효과적인 인센티브 메커니즘이 부족하다. 이러한 현실에서 사용자는 개인 데이터를 안전하게 제공함으로써 직접적인 수익을 얻기 어렵기 때문에 민감한 데이터를 공유하려는 의지가 없다.
이러한 문제들을 해결하기 위해 OpenLayer는 데이터 검증 기술을 결합하여 모듈형 실데이터 계층(Modular Authentic Data Layer)을 구축하였으며, 탈중앙화 + 경제적 인센티브 방식으로 데이터 수집, 검증, 변환 과정을 조율하여 Web2 및 Web3 기업들에게 보다 안전하고 효율적이며 유연한 데이터 인프라를 제공한다.
4.1.1 OpenLayer 모듈형 설계의 핵심 구성 요소
OpenLayer는 데이터 수집, 신뢰 검증, 변환 과정을 단순화하기 위한 모듈형 플랫폼을 제공한다:
a) OpenNodes
OpenNodes는 OpenLayer 생태계 내에서 탈중앙화 데이터 수집을 담당하는 핵심 구성 요소로, 사용자의 모바일 앱, 브라우저 확장 프로그램 등의 채널을 통해 데이터를 수집한다. 다양한 운영자/노드는 자신의 하드웨어 사양에 따라 가장 적합한 작업을 수행하여 보상을 최적화할 수 있다.
OpenNodes는 세 가지 주요 데이터 유형을 지원하여 다양한 작업 요구에 대응한다:
-
공개 인터넷 데이터(예: 금융 데이터, 날씨 데이터, 스포츠 데이터, 소셜미디어 스트림)
-
사용자 개인 데이터(예: Netflix 시청 기록, Amazon 주문 기록 등)
-
보안 소스에서 온 자기 보고 데이터(예: 전용 소유자가 서명하거나 특정 신뢰할 수 있는 하드웨어가 검증한 데이터)
개발자는 새로운 데이터 유형을 쉽게 추가하고, 새로운 데이터 소스, 요구사항, 데이터 검색 방법을 지정할 수 있으며, 사용자는 익명화된 데이터를 제공함으로써 보상을 받을 수 있다. 이러한 설계는 시스템이 새로운 데이터 수요에 맞춰 지속적으로 확장될 수 있게 하며, 다양한 데이터 소스는 OpenLayer가 다양한 애플리케이션 시나리오에 포괄적인 데이터 지원을 제공할 수 있게 하며, 데이터 제공의 진입 장벽을 낮춘다.
b) OpenValidators
OpenValidators는 데이터 수집 후의 검증을 담당하며, 데이터 소비자가 사용자가 제공한 데이터가 실제 데이터 소스와 완전히 일치하는지 확인할 수 있도록 한다. 제공되는 모든 검증 방법은 암호화된 증명이 가능하며, 검증 결과는 사후에 입증될 수 있다. 동일한 유형의 증명에 대해 여러 다른 제공업체가 서비스를 제공하며, 개발자는 자신의 요구에 따라 가장 적합한 검증 제공업체를 선택할 수 있다.
초기 사용 사례에서 특히 인터넷 API에서 오는 공개 또는 비공개 데이터에 대해 OpenLayer는 TLSNotary를 검증 솔루션으로 사용하여, 어떤 웹 애플리케이션에서든 데이터를 내보내고 개인정보를 해치지 않으면서 데이터의 진위성을 입증한다.
TLSNotary에 국한되지 않고, 모듈형 설계 덕분에 검증 시스템은 다음과 같은 다양한 유형의 데이터 및 검증 요구에 맞춰 쉽게 다른 검증 방법을 통합할 수 있다:
-
검증된 TLS 연결: 신뢰할 수 있는 실행 환경(TEE)을 활용하여 인증된 TLS 연결을 설정하여 전송 중 데이터의 무결성과 진위성을 보장한다.
-
보안 격리 공간(Secure Enclaves): 하드웨어 수준의 보안 격리 환경(예: Intel SGX)을 사용하여 민감한 데이터를 처리하고 검증하며, 더 높은 수준의 데이터 보호를 제공한다.
-
ZK 증명 생성기(ZK Proof Generators): ZKP를 통합하여 원본 데이터를 공개하지 않고도 데이터 속성 또는 계산 결과를 검증할 수 있도록 한다.
c) OpenConnect
OpenConnect는 OpenLayer 생태계 내에서 데이터 변환을 담당하며, 사용 가능성을 실현하는 핵심 모듈로, 다양한 소스에서 오는 데이터를 처리하여 서로 다른 시스템 간 상호 운용성을 보장하고 다양한 애플리케이션의 요구를 충족시킨다. 예를 들어:
-
데이터를 체인 상 오라클(Oracle) 형식으로 변환하여 스마트 계약이 직접 사용할 수 있도록 한다.
-
비구조화된 원시 데이터를 구조화된 데이터로 변환하여 AI 학습 등의 목적을 위해 사전 처리한다.
사용자의 개인 계정에서 오는 데이터의 경우, OpenConnect는 개인정보 보호를 위해 데이터 익명화 기능을 제공하며, 데이터 공유 과정의 보안을 강화하고 데이터 유출 및 남용을 줄이기 위한 구성 요소도 제공한다. AI 및 블록체인 등 애플리케이션이 실시간 데이터를 요구하기 때문에 OpenConnect는 효율적인 실시간 데이터 변환을 지원한다.
현재 Eigenlayer와의 통합을 통해 OpenLayer AVS 운영자는 데이터 요청 작업을 감시하고, 데이터를 수집 및 검증한 후 결과를 시스템에 보고하며, EigenLayer를 통해 자산을 담보하거나 재담보함으로써 자신의 행동에 대한 경제적 보증을 제공한다. 악의적인 행동이 입증되면 담보 자산이 몰수되는 위험이 있다. EigenLayer 메인넷에서 가장 초기의 AVS(Active Validation Service) 중 하나로서 OpenLayer는 이미 50개 이상의 운영자와 40억 달러의 재담보 자산을 유치하였다.
결론적으로, OpenLayer가 구축한 탈중앙화 데이터 계층은 실용성과 효율성을 희생하지 않으면서도 이용 가능한 데이터의 범위와 다양성을 확장하였으며, 암호화 기술과 경제적 인센티브를 통해 데이터의 진위성과 무결성을 보장한다. 이 기술은 오프체인 정보 확보를 원하는 Web3 Dapp, 실제 입력값을 필요로 하는 AI 모델의 학습 및 추론, 기존 신원과 평판에 따라 사용자를 세분화하고 타겟팅하려는 기업 등에 광범위한 실제 사용 사례를 가지고 있다. 사용자 또한 자신의 개인 데이터를 가치화할 수 있게 되었다.
4.2 Grass
Grass는 Wynd Network가 개발한 대표 프로젝트로, 탈중앙화 웹 크롤러 및 AI 학습용 데이터 플랫폼을 만들기 위해 노력하고 있다. 2023년 말, Grass 프로젝트는 Polychain Capital과 Tribe Capital이 주도한 시드 펀딩 라운드에서 350만 달러를 조달했다. 이어 2024년 9월에는 HackVC가 주도한 시리즈 A 펀딩을 성사시켰으며, Polychain, Delphi, Lattice, Brevan Howard 등 저명한 투자 기관들이 참여했다.
AI 학습은 새로운 데이터 노출이 필요하며, 그 해결책 중 하나는 다중 IP를 사용하여 데이터 접근 권한을 돌파하고 AI에게 데이터를 공급하는 것이다. Grass는 여기서 출발하여 분산형 크롤러 노드 네트워크를 만들었으며, 탈중앙화 물리 인프라 방식으로 사용자의 유휴 대역폭을 활용해 AI 학습을 위해 검증 가능한 데이터셋을 수집하고 제공하는 데 전념하고 있다. 노드는 사용자의 인터넷 연결을 통해 웹 요청을 라우팅하고 공개 웹사이트에 접근하며 구조화된 데이터셋을 컴파일한다. 엣지 컴퓨팅 기술을 사용하여 초기 데이터 정제 및 형식화를 수행하여 데이터 품질을 향상시킨다.
Grass는 Solana 기반 L2 데이터 롤업 아키텍처를 채택하여 처리 효율성을 높였다. Grass는 검증기가 노드로부터 오는 웹 거래를 수신, 검증, 배치 처리하고, ZK 증명을 생성하여 데이터 진위성을 보장한다. 검증된 데이터는 데이터 원장(L2)에 저장되며, 해당 L1 체인 상의 증명과 연결된다.
4.2.1 Grass 주요 구성 요소
a) Grass 노드
OpenNodes와 유사하게, C단 사용자는 Grass 앱이나 브라우저 확장 프로그램을 설치하고 실행하여 유휴 대역폭을 활용해 웹 크롤링 작업을 수행한다. 노드는 사용자의 인터넷 연결을 통해 웹 요청을 라우팅하고, 공개 웹사이트에 접근하며 구조화된 데이터셋을 컴파일하며, 엣지 컴퓨팅 기술을 사용하여 초기 데이터 정제 및 형식화를 수행한다. 사용자는 기여한 대역폭과 데이터량에 따라 GRASS 토큰 보상을 받는다.
b) 라우터(Routers)
Grass 노드와 검증기를 연결하며, 노드 네트워크를 관리하고 대역폭을 중계한다. 라우터는 운영을 위해 인센티브를 받으며, 보상 비율은 중계한 총 검증 대역폭에 비례한다.
c) 검증기(Validators)
라우터로부터 오는 웹 거래를 수신, 검증 및 배치 처리하며, ZK 증명을 생성한다. 고유한 키 세트를 사용하여 TLS 연결을 설정하고, 대상 웹 서버와의 통신을 위해 적절한 암호화 패키지를 선택한다. Grass는 현재 중앙화된 검증기를 사용하고 있으나, 향후 검증기 위원회로 전환할 계획이다.
d) ZK 프로세서(ZK Processor)
검증기로부터 각 노드 세션 데이터의 증명을 수신하고, 모든 웹 요청의 유효성 증명을 배치 처리한 후 L1(솔라나)에 제출한다.
e) Grass 데이터 원장(Grass L2)
완전한 데이터셋을 저장하며, 해당 L1 체인(솔라나) 상의 증명과 연결된다.
f) 엣지 임베딩 모델
비구조화된 웹 데이터를 AI 학습에 사용할 수 있는 구조화된 모델로 변환하는 역할을 한다.
출처: Grass
Grass와 OpenLayer 비교 분석
OpenLayer와 Grass는 모두 분산형 네트워크를 활용하여 기업이 공개 인터넷 데이터 및 인증이 필요한 폐쇄 정보에 접근할 수 있는 기회를 제공한다. 인센티브 메커니즘을 통해 데이터 공유와 고품질 데이터 생산을 촉진한다. 두 프로젝트 모두 데이터 접근 및 검증 문제를 해결하기 위해 탈중앙화 데이터 계층(Decentralized Data Layer)을 만들려는 노력을 기울이고 있으나, 다소 다른 기술 경로와 비즈니스 모델을 채택하고 있다.
기술 아키텍처의 차이
Grass는 현재 중앙화된 검증 메커니즘을 사용하는 Solana 기반 L2 데이터 롤업 아키텍처를 사용한다. 한편 OpenLayer는 EigenLayer를 기반으로 구축된 최초의 AVS 중 하나로, 경제적 인센티브와 몰수 메커니즘을 활용하여 탈중앙화된 검증 메커니즘을 실현한다. 또한 모듈형 설계를 채택하여 데이터 검증 서비스의 확장성과 유연성을 강조한다.
제품 차별성
두 프로젝트 모두 C단 사용자가 노드를 통해 데이터를 가치화할 수 있는 유사한 제품을 제공한다. B단(B2B) 사용 사례 측면에서 Grass는 흥미로운 데이터 마켓 모델을 제공하며, L2를 사용하여 완전한 데이터를 검증 가능하게 저장함으로써 AI 기업에게 구조화되고 고품질이며 검증 가능한 학습 데이터셋을 제공한다. 반면 OpenLayer는 아직 전용 데이터 저장 구성 요소를 갖추지 않았지만, AI 데이터 제공 외에도 RWA/DeFi/예측 시장 프로젝트의 실시간 가격 공급, 실시간 소셜 데이터 제공 등 신속한 반응이 필요한 시나리오에 적합한 실시간 데이터 스트림 검증 서비스(Vaas)를 더 광범위하게 제공한다.
따라서 현재 Grass의 주요 고객군은 대규모, 구조화된 학습 데이터셋이 필요한 AI 기업 및 데이터 과학자이며, 대량의 웹 데이터셋이 필요한 연구 기관 및 기업도 대상으로 한다. 반면 OpenLayer는 오프체인 데이터 소스가 필요한 체인 상 개발자, 실시간 검증 가능한 데이터 스트림이 필요한 AI 기업, 경쟁 제품 사용 이력을 검증하는 등의 혁신적인 사용자 확보 전략을 지원하는 Web2 기업을 우선 대상으로 한다.
미래의 잠재적 경쟁
그러나 산업 발전 추세를 고려하면 두 프로젝트의 기능이 향후 실제로 수렴할 가능성이 있다. Grass는 머지않아 실시간 구조화된 데이터도 제공할 가능성이 크다. 반면 OpenLayer는 모듈형 플랫폼으로서 향후 데이터셋 관리 기능을 확장하여 자체 데이터 원장(data ledger)을 갖출 수도 있다. 따라서 두 프로젝트의 경쟁 영역은 점차 겹쳐질 가능성이 있다.
또한 두 프로젝트 모두 데이터 라벨링(Data Labelling)이라는 핵심 단계를 도입할 가능성이 있다. Grass는 방대한 노드 네트워크를 보유하고 있기 때문에(보고에 따르면 활성 노드가 이미 220만 개를 넘음) 이 분야에서 더 빠르게 진전될 수 있다. 이 우위를 통해 Grass는 인간 피드백 기반 강화 학습(RLHF) 서비스를 제공할 가능성이 있으며, 대량의 라벨링 데이터를 활용해 AI 모델을 최적화할 수 있다.
그러나 OpenLayer는 데이터 검증 및 실시간 처리 분야에서의 전문성과 개인 데이터에 대한 집중을 바탕으로 데이터 품질과 신뢰성 측면에서 우위를 유지할 가능성이 있다. 또한 EigenLayer의 AVS 중 하나로서 탈중앙화 검증 메커니즘에 대해 더 깊은 발전을 이룰 수 있다.
두 프로젝트가 일부 영역에서 경쟁을 벌일 수는 있지만, 각자의 독특한 강점과 기술 경로로 인해 데이터 생태계 내에서 서로 다른 니치 시장을 차지할 가능성이 있다.
(출처: IOSG, David)
4.3 Vana
Vana는 사용자 중심의 데이터 풀 네트워크로서, AI 및 관련 애플리케이션에 고품질 데이터를 제공하기 위해 노력하고 있다. OpenLayer 및 Grass와 비교해 Vana는 더 다른 기술 경로와 비즈니스 모델을 채택하고 있다. Vana는 2024년 9월 Coinbase Ventures가 주도한 500만 달러 투자를 완료했으며, 이전에는 Paradigm이 주도한 1800만 달러의 시리즈 A 펀딩을 받았고, Polychain, Casey Caruso 등 저명한 투자자들도 참여했다.
원래 2018년 MIT의 연구 프로젝트로 시작된 Vana는 사용자 개인 데이터 전용 Layer 1 블록체인을 지향한다. 데이터 소유권 및 가치 분배에서의 혁신을 통해 사용자가 자신의 데이터로 훈련된 AI 모델로부터 수익을 얻을 수 있게 한다. Vana의 핵심은 신뢰 불필요, 개인정보 보호 가능하며 귀속 가능한 데이터 유동성 풀(Data Liquidity Pool)과 혁신적인 기여 증명(Proof of Contribution) 메커니즘을 통해 개인 데이터의
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
IOSG Ventures
