AI+Web3 미래 발전 방향 (1): 산업 전경과 스토리텔링 로직
글: Future3 Campus
지난 1년간 ChatGPT와 같은 생성형 AI 대규모 모델의 등장과 함께 AI는 단순한 자동화 도구를 넘어 복잡한 의사결정 및 예측 시스템으로 진화하며 현대 사회의 중요한 발전 동력이 되었습니다. AI 제품 및 애플리케이션도 폭발적인 성장을 이루었으며, ChatGPT는 GPTs, Sora 등 주목할 만한 제품들을 차례로 출시했고, AI 인프라 기업인 엔비디아의 실적은 계속해서 시장 예상을 뛰어넘고 있습니다. 2024 회계연도 4분기 데이터센터 사업 부문은 전체 매출의 83% 이상을 차지하며 전년 동기 대비 409% 성장했고, 이 중 40%가 대규모 모델 추론(추론) 시나리오에 사용되어 하드웨어 컴퓨팅 능력에 대한 급증하는 수요를 보여주고 있습니다.
현재 AI는 북미 및 유럽 자본 시장에서 가장 각광받는 투자 테마이며, 동시에 Web3 시장도 새로운 강세장(불장)을 맞이하고 있습니다. AI+Web3는 현재 가장 핫한 두 가지 기술 트렌드의 융합이며, 최근에는 이 분야를 중심으로 한 다수의 프로젝트들이 등장하면서 시장의 관심과 기대감을 반영하고 있습니다.
과장된 홍보와 가격 거품을 제외하고, AI+Web3 산업은 현재 어떤 상태이며 실제로 활용 가능한 시나리오가 존재할까요? 장기적으로 가치 있고 지속 가능한 스토리텔링과 산업 생태계를 창출할 수 있을까요? 미래의 AI+Web3 산업은 어떤 생태계 구조를 형성하게 될 것이며, 잠재력을 지닌 분야는 어디일까요?
위와 같은 주제를 중심으로 Future3 Campus는 AI+Web3 산업 체인의 다양한 측면을 분석하는 일련의 연재 기사를 작성할 예정입니다. 본 기사는 그 첫 번째 글로, AI+Web3의 전체 산업 전경과 스토리텔링 논리를 다룹니다.
AI 작업 및 생산 프로세스
개괄적으로 말해, AI+Web3의 융합 방향은 크게 두 가지로 나눌 수 있습니다. 하나는 Web3 기술이 AI 발전을 어떻게 지원할 수 있는지이고, 다른 하나는 Web3 애플리케이션이 AI 기술을 어떻게 활용할 수 있는지입니다. 현재 대부분의 프로젝트는 전자, 즉 Web3 기술과 개념이 AI에 역량을 부여하는 방향에 집중하고 있습니다. 따라서 우리는 AI 모델의 훈련부터 실제 서비스 배포까지의 전체 프로세스를 살펴보며, 각 단계에서 Web3와 어떻게 결합할 수 있는지를 분석할 수 있습니다.
LLM(대규모 언어 모델)의 등장은 기존의 머신러닝 프로세스와 일부 차이가 있지만, 일반적으로 간소화된 AI 생산 프로세스는 다음과 같은 몇 가지 주요 단계로 구성됩니다:
1. 데이터 확보
AI 모델의 전체 훈련 과정에서 데이터는 모델 훈련의 기반이 되는 핵심 요소입니다. 일반적으로 고품질의 데이터셋을 기반으로 탐색적 데이터 분석(EDA)을 수행하며, 재현 가능하고 수정 가능하며 공유 가능한 데이터셋, 표, 시각화 차트 등을 만들어냅니다.
2. 데이터 전처리 및 특징 공학 / 프롬프트 공학
데이터를 확보한 후에는 이를 전처리해야 합니다. 머신러닝에서는 이를 '특징 공학(feature engineering)' 또는 '데이터 라벨링'이라고 하고, 대규모 모델(LLM)에서는 '프롬프트(Prompt) 공학'이라 부릅니다. 세밀한 특징을 부여하기 위해 반복적으로 데이터를 분류하고, 통합하며 중복 데이터를 제거하는 작업과 함께, LLM이 구조화된 질의를 할 수 있도록 프롬프트를 반복적으로 개발합니다. 또한 이러한 특징 또는 프롬프트를 안정적으로 저장하고 공유할 수 있어야 합니다.
3. 모델 훈련 및 최적화
풍부한 모델 라이브러리를 활용하여 AI 모델을 훈련시키고, 반복적인 조정을 통해 모델의 성능, 효율성, 정확도를 향상시킵니다. 특히 LLM의 경우 인간 피드백을 통한 강화 학습(RLHF)을 주로 사용하여 모델을 지속적으로 최적화합니다.
4. 모델 검토 및 거버넌스
MLOps/LLMOps 플랫폼을 사용하여 모델 개발 프로세스를 최적화하며, 모델의 발견, 추적, 공유, 협업을 관리함으로써 모델의 품질과 투명성을 보장하고, 윤리적·규제적 요구사항을 준수합니다.
5. 모델 추론(Inference)
훈련된 AI 모델을 실제 상황에 배치하여 새로 입력되는, 이전에 보지 못한 데이터에 대해 예측을 수행합니다. 모델은 학습을 통해 얻은 파라미터를 이용해 입력 데이터를 처리하고 분류 또는 회귀 예측과 같은 결과를 생성합니다.
6. 모델 배포 및 모니터링
모델의 성능이 기준에 도달했음을 확인한 후 실제 응용 시나리오에 배포하고, 지속적인 모니터링과 유지보수를 통해 동적으로 변화하는 환경 속에서도 최상의 성능을 유지하도록 합니다.
위의 각 프로세스에서 Web3와 결합할 수 있는 많은 기회가 존재합니다. 현재 AI 발전 과정에서 모델의 투명성 부족, 편향성, 윤리적 문제 등이 널리 논의되고 있는데, 이와 같은 문제 해결에 Web3 기술과 ZK(제로 낯지식 증명) 등의 암호학 기술을 접목하면 AI에 대한 신뢰 문제를 개선할 수 있습니다. 또한 AI 애플리케이션의 수요 증가는 더 저렴하고 개방적인 인프라 및 데이터 네트워크에 대한 요구를 증가시키고 있으며, Web3의 분산 네트워크와 인센티브 구조는 더욱 개방적이고 오픈소스 기반의 AI 네트워크 및 커뮤니티를 조성할 수 있습니다.
AI+Web3 산업 전경 및 스토리텔링 논리
위에서 설명한 AI 생산 프로세스와 AI 및 Web3의 융합 방향, 그리고 현재 시장의 주요 AI+Web3 프로젝트들을 종합하여 AI+Web3 산업 생태계를 정리해 보면, AI+Web3 산업 체인은 인프라 계층, 미들웨어 계층, 애플리케이션 계층의 세 단계로 나눌 수 있습니다.
1. 인프라 계층
주로 컴퓨팅 및 저장 인프라를 포함하며, AI 작업 및 생산 프로세스 전반에 걸쳐 AI 모델의 훈련 및 추론에 필요한 컴퓨팅 파워와 데이터 및 모델의 전 생애주기 동안 저장 공간을 제공합니다.
현재 AI 애플리케이션의 급속한 성장은 인프라, 특히 고성능 컴퓨팅 능력에 대한 수요를 폭발적으로 증가시키고 있습니다. 따라서 향후 몇 년간(즉 AI 초기 발전 단계) 보다 높은 성능, 더 낮은 비용, 충분한 컴퓨팅 및 저장 인프라를 제공하는 것은 매우 중요한 트렌드가 될 것이며, 전체 산업 체인 가치의 50% 이상을 차지할 것으로 예상됩니다.
Web3는 유휴 상태의 분산된 리소스를 활용해 탈중앙화된 컴퓨팅 및 저장 자원 네트워크를 구축함으로써 인프라 비용을 크게 낮출 수 있으며, 광범위한 AI 애플리케이션 수요를 충족시킬 수 있습니다. 따라서 탈중앙화된 AI 인프라는 현재 가장 높은 확실성을 지닌 스토리텔링입니다.
현재 이 분야의 대표적인 프로젝트로는 렌더링 서비스에 초점을 맞춘 Render Network와 탈중앙화 클라우드 서비스 및 컴퓨팅 하드웨어 네트워크를 제공하는 Akash, gensyn 등이 있습니다. 저장 분야에서는 여전히 Filecoin, Arweave와 같은 기존의 탈중앙화 저장 네트워크가 대표적이며, 최근에는 AI 분야 특화 저장 및 컴퓨팅 서비스도 출시되었습니다.
2. 미들웨어 계층
주로 AI 작업 생산 프로세스의 특정 단계에서 Web3 관련 기술을 활용해 기존 문제를 개선하는 것을 의미합니다. 주요 내용은 다음과 같습니다:
1) 데이터 확보 단계: 탈중앙화된 데이터 아이덴티티를 활용해 보다 개방적인 데이터 네트워크 또는 데이터 거래 플랫폼을 조성합니다. 암호학 기술과 블록체인의 특성을 결합하여 사용자의 권리를 보호하고 데이터 소유권을 명확히 하며, 인센티브 메커니즘을 통해 사용자가 고품질 데이터를 공유하도록 유도함으로써 데이터 출처를 확대하고 데이터 획득 효율을 높입니다. 이 분야의 대표 프로젝트로는 AI 아이덴티티 프로젝트인 Worldcoin, Aspecta, 데이터 거래 플랫폼 Ocean Protocol, 참여 장벽이 낮은 데이터 네트워크 Grass 등이 있습니다.
2) 데이터 전처리 단계: 분산형 AI 데이터 라벨링 및 처리 플랫폼을 구축하고, 경제 모델을 통해 크라우드소싱 방식을 장려하여 후속 모델 훈련 단계를 위한 보다 효율적이고 저비용의 데이터 전처리를 추진합니다. 대표 프로젝트로는 Public AI 등이 있습니다.
3) 모델 검증 및 추론 단계: 앞서 언급했듯이, 데이터와 모델의 '블랙박스' 문제는 현재 AI에서 현실적으로 존재하는 문제입니다. 따라서 모델 검증 및 추론 단계에서 Web3는 ZK(제로 낯지식 증명), 동형 암호화(Homomorphic Encryption) 등의 암호학 기술을 활용하여 모델이 지정된 데이터와 파라미터를 사용했는지 검증함으로써 모델의 정확성을 보장하면서도 입력 데이터의 개인정보를 보호할 수 있습니다. 대표적인 적용 사례로는 ZKML(Zero-Knowledge Machine Learning)이 있으며, 현재 이 분야의 대표 프로젝트로는 bittensor, Privasea, Modulus 등이 있습니다.
미들웨어 계층의 많은 프로젝트들은 개발자 도구에 더 가까우며, 기존 개발자나 프로젝트 팀에게 부가 서비스를 제공하는 경우가 많습니다. 현재 AI 발전 초기 단계에서 이들의 시장 수요 및 상업적 실현 가능성은 아직 발전 중에 있습니다.
3. 애플리케이션 계층
애플리케이션 계층에서는 주로 AI 기술이 Web3에 어떻게 활용될 수 있는지를 다룹니다. Web3 애플리케이션에 AI 기술을 접목하면 효율성과 제품 경험을 효과적으로 향상시킬 수 있으며, AI의 콘텐츠 생성, 분석, 예측 등의 기능을 게임, 소셜, 데이터 분석, 금융 예측 등 다양한 분야에 적용할 수 있습니다. 현재 AI+Web3 애플리케이션은 주로 다음 세 가지 범주로 나뉩니다.
1) AIGC(생성형 AI): AI 생성 기술을 사용해 사용자가 대화형 방식으로 텍스트, 이미지, 영상, 아바타 등의 콘텐츠를 생성할 수 있게 합니다. 독립된 AI 에이전트(Agent) 형태이거나 제품 내에 직접 통합된 형태로 나타납니다. 대표 프로젝트로는 NFPrompt, SleeplessAI 등이 있습니다.
2) AI 분석형: 프로젝트 팀이 자체적으로 축적한 데이터, 지식베이스, 분석 능력을 활용해 특정 분야의 AI 모델을 훈련시키고, 이를 분석, 판단, 예측 기능으로 제품화하여 사용자에게 제공함으로써 누구나 쉽게 AI 분석 능력을 활용할 수 있게 합니다. 예를 들어 데이터 분석, 정보 추적, 코드 감사 및 수정, 금융 예측 등이 있습니다. 대표 프로젝트로는 Kaito, Dune 등이 있습니다.
3) AI 에이전트 허브(AI Agent Hub): 다양한 AI 에이전트를 통합하여 사용자가 코딩 없이도 맞춤형 AI 에이전트를 만들 수 있도록 하는 플랫폼입니다. GPTs와 유사한 형태입니다. 대표 프로젝트로는 My Shell, Fetch.ai 등이 있습니다.
애플리케이션 계층은 아직 두각을 드러낸 선두 프로젝트가 등장하지 않았지만, 장기적으로는 가장 높은 성장 가능성(천장)을 지닌 분야이며, 아직 많이 발굴되지 않은 잠재력을 가지고 있습니다. AI+Web3 애플리케이션의 경쟁력은 기술 혁신보다는 제품 역량과 기술 축적에 달려 있으며, 특히 AI 분야에서 사용자 경험을 더 잘 설계한 제품이 이 영역에서 더 큰 경쟁 우위를 점할 수 있을 것입니다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
