데이터의 흐름을 만들다: 암호화 프로젝트가 AI 데이터 학습 병목 현상을 완화하는 방법
번역: TechFlow
이미지 속에 숨겨진 모든 참조 사항을 찾아낼 수 있는지 확인해 보세요.
약 2년 전, 비교적 잘 알려지지 않은 스타트업 OpenAI가 챗봇 애플리케이션인 ChatGPT를 출시한 이후 AI는 이면에서 무대 중심으로 나아왔다. 우리는 기계 지능이 삶의 모든 영역에 스며드는 중요한 시점에 서 있다. 이러한 지능을 장악하려는 경쟁이 치열해질수록 이를 구동하는 데이터에 대한 요구도 계속 증가하고 있다. 바로 이번 글의 주제다.
본문에서는 AI 기업이 필요로 하는 데이터의 규모와 절박함, 그리고 데이터 확보 과정에서 마주치는 문제들을 다룬다. 또한 이러한 해결되지 않는 수요가 우리가 사랑하는 인터넷과 수십억 명의 기여자들에게 어떤 위협이 되는지도 살펴볼 것이다. 마지막으로, 이런 문제들과 우려를 해결하기 위해 암호화 기술을 활용하는 스타트업들에 대해서도 소개한다.
한 가지 미리 밝혀둘 것은, 본문은 대규모 언어 모델(LLMs) 훈련이라는 특정 관점에서 쓰였으며, 모든 AI 시스템에 일반화되는 내용은 아니라는 점이다. 따라서 나는 자주 "AI"와 "LLMs"를 혼용하여 사용할 것이다.
데이터 보기
LLM은 계산 능력, 에너지, 데이터라는 세 가지 핵심 자원을 필요로 한다. 막대한 자본을 배경으로 기업, 정부, 스타트업들이 동시에 이 자원들을 차지기 위해 경쟁 중이다. 그중에서도 계산 능력에 대한 경쟁이 가장 두드러지는데, 이는 부분적으로 NVIDIA의 주가 급등 덕분이다.
LLM 훈련에는 A100, H100, 그리고 곧 출시될 B100 등 특수 목적 그래픽 처리 장치(GPU)가 대량으로 필요하다. 이러한 컴퓨팅 장비들은 아마존이나 지역 컴퓨터 매장에서 구입할 수 있는 제품이 아니다. 한 대당 수만 달러에 달하기 때문이다. NVIDIA는 AI 연구소, 스타트업, 데이터센터, 초대규모 고객들 사이에서 어떻게 이 자원을 분배할지를 결정한다.
ChatGPT 출시 후 18개월 동안 GPU 수요는 공급을 훨씬 웃돌았고, 대기 시간은 최대 11개월까지 길어졌다. 그러나 일부 스타트업의 문 닫기, 훈련 알고리즘 및 모델 아키텍처 개선, 다른 기업들의 전용 칩 출시, 그리고 NVIDIA의 생산 확대로 인해 수요-공급 균형이 회복되면서 가격도 하락하고 있다.
두 번째는 에너지다. 데이터센터 내 GPU를 작동시키는 데 막대한 에너지가 필요하다. 일부 추정에 따르면, 2030년까지 데이터센터가 전 세계 에너지 소비의 4.5%를 차지할 것으로 보인다. 급증하는 수요로 기존 전력망에 부담이 가해지는 가운데, 기술 기업들은 대체 에너지 솔루션을 탐색하고 있다. 아마존은 최근 6.5억 달러를 들여 원자력 발전소에서 전력을 공급받는 데이터센터 단지를 매입했다. 마이크로소프트는 이미 핵기술 책임자를 고용했다. OpenAI의 샘 알트먼(Sam Altman)은 Helion, Exowatt, Oklo 같은 에너지 스타트업을 지원하고 있다.
AI 모델 훈련 관점에서 보면, 에너지와 계산 능력은 일종의 상품일 뿐이다. H100보다 B100을 선택하거나, 기존 에너지원보다 원자력을 선택하는 것은 훈련 과정을 더 저렴하게, 빠르게 또는 효율적으로 만들 수 있지만 모델 품질에는 영향을 주지 않는다. 즉, 가장 똑똑하고 인간적인 AI 모델을 만드는 경쟁에서 에너지와 계산 능력은 필수 요건일 뿐 결정적인 요인이 아니다.
핵심 자원은 데이터다.
제임스 베트커(James Betker)는 OpenAI의 연구 엔지니어다. 스스로 "훈련한 생성 모델이 누구보다 많다"고 말할 정도다. 그는 한 블로그 포스트에서 "충분히 큰 데이터셋에서 충분한 시간 동안 거의 모든 모델이 충분한 파라미터와 훈련 시간을 갖는다면 결국 동일한 지점으로 수렴한다"고 주장했다. 즉, 하나의 AI 모델을 다른 모델과 구별짓는 것은 데이터셋이며 다른 무엇도 아니라는 의미다.
우리가 어떤 모델을 'ChatGPT', 'Claude', 'Mistral', 'Lambda'라고 부를 때, 우리가 말하는 것은 그 아키텍처, 사용된 GPU, 소모된 에너지가 아니라 훈련에 사용된 데이터셋이다.
데이터가AI 훈련의 식량이라면, 모델은 그것이 먹은 것 그 자체다.
최첨단 생성 모델을 훈련시키려면 얼마나 많은 데이터가 필요할까? 답은 어마어마하게 많다는 것이다.
출시 후 1년 이상이 지났음에도 여전히 최고의 대규모 언어 모델로 간주되는 GPT-4는 약 12조 토큰(또는 약 9조 단어)의 데이터로 훈련된 것으로 추정된다. 이 데이터는 위키백과, Reddit, Common Crawl(무료 오픈 웹 크롤링 저장소), 백만 시간 이상의 유튜브 자막 데이터, GitHub 및 Stack Overflow 같은 코드 플랫폼 등 공개 인터넷에서 수집된 것이다.
이미 어마어마하다고 느껴지겠지만, 잠깐만 기다려보라. 생성형 AI에는 '친칠라 스케일링 법칙(Chinchilla Scaling Laws)'이라는 개념이 있는데, 이는 주어진 계산 예산 하에서 작은 모델을 더 큰 데이터셋으로 훈련하는 것이, 큰 모델을 작은 데이터셋으로 훈련하는 것보다 더 효과적이라는 뜻이다. AI 기업들이 다음 세대 AI 모델(GPT-5, Llama-4 등) 훈련에 투입할 것으로 예상되는 컴퓨팅 리소스를 추정하면, 이들 모델은 계산 능력이 5~6배 증가하며 최대 100조 토큰의 데이터로 훈련될 것으로 예측된다.
대부분의 공개 인터넷 데이터가 이미 크롤링되고 색인화되어 기존 모델 훈련에 사용되었으므로, 추가 데이터는 어디서 오게 될까? 이는 현재 AI 기업들이 직면한 최전선의 연구 과제다. 해결책은 두 가지다. 하나는 인간이 아닌 LLM이 직접 생성하는 '합성 데이터(synthetic data)'를 생성하는 방법이다. 하지만 이러한 데이터가 모델을 더 똑똑하게 만드는 데 실제로 유용한지는 아직 검증되지 않았다.
다른 방법은 단순히 합성 생성보다 고품질 데이터를 찾는 것이다. 그러나 추가 데이터 확보는 어렵다. 왜냐하면 AI 기업이 마주한 문제들은 미래 모델 훈련뿐 아니라 기존 모델의 유효성까지 위협하고 있기 때문이다.
첫 번째 데이터 문제는 법적 쟁점에서 비롯된다. AI 기업들은 '공개적으로 이용 가능한 데이터'를 사용한다고 주장하지만, 그중 상당수는 저작권 보호를 받는다. 예를 들어, Common Crawl 데이터셋에는 뉴욕타임스, AP 통신 등의 출판물 수백만 건과 기타 저작권 보호 자료가 포함되어 있다.
일부 출판사와 창작자들은 AI 기업을 상대로 저작권 및 지식재산권 침해 혐의로 소송을 제기하고 있다. 뉴욕타임스는 OpenAI와 마이크로소프트를 상대로 "'독특하고 가치 있는 작품'을 불법 복제하고 사용했다"며 소송을 냈다. 프로그래머 집단도 집단 소송을 제기하며, GitHub Copilot(인기 있는 AI 프로그래밍 도우미) 훈련에 오픈소스 코드를 사용한 것이 합법인지 문제를 제기하고 있다.
코미디언 사라 실버맨(Sarah Silverman)과 작가 폴 트렘블레이(Paul Tremblay)도 자신의 작품을 허락 없이 사용했다며 AI 기업들을 상대로 소송을 제기했다.
AP 통신, 파이낸셜타임스, Axel Springer는 모두 OpenAI와 콘텐츠 사용 계약을 체결했다. 애플사는 콘데나스트(Condé Nast)와 NBC 같은 언론사들과 유사한 계약을 체결하는 방안을 모색 중이다. 구글은 모델 훈련을 위해 Reddit API 접근 권한을 얻기 위해 연간 6천만 달러를 지불하기로 합의했으며, Stack Overflow 역시 OpenAI와 유사한 계약을 맺었다. Meta는 출판사 Simon & Schuster를 직접 매입하는 것을 고려했다는 보도도 있다.
이러한 계약은AI 기업이 직면한 두 번째 문제—개방형 네트워크의 폐쇄와 맞물린다.
인터넷 포럼과 소셜미디어 사이트들은 자사 플랫폼 데이터로 AI 모델을 훈련시킴으로써 AI 기업이 가치를 창출한다는 사실을 깨달았다. 구글(그리고 향후 다른 AI 기업)과 계약을 체결하기 전, Reddit은 과거 무료로 제공했던 API에 유료화 조치를 취해 인기 있던 제3자 클라이언트들을 종료시켰다. 마찬가지로 트위터도 API 접근을 제한하고 가격을 인상했으며, 일론 머스크는 트위터 데이터를 자신의 AI 기업 xAI 모델 훈련에 활용하고 있다.
소규모 출판사, 팬픽션 포럼, 광고로 수익화(있는 경우)되며 누구나 무료로 소비할 수 있도록 콘텐츠를 생산하는 인터넷의 소수 공동체들조차 지금은 문을 닫고 있다. 인터넷은 각자의 독특한 관심사와 특이점을 공유할 수 있는 마법 같은 공간으로 설계됐었다. 그러나 그 마법은 서서히 사라지고 있는 듯하다.
이러한 소송 위협, 수백만 달러 규모의 콘텐츠 거래 증가, 개방형 네트워크의 폐쇄는 두 가지 함의를 갖는다.
-
첫째, 데이터 전쟁은 기술 거대 기업에게 극도로 유리하게 흘러간다. 스타트업과 소규모 기업은 더 이상 과거처럼 무료로 이용 가능했던 API에 접근할 수도 없고, 법적 리스크 없이 사용권을 구입할 재정적 여력도 없다. 이는 명백히 집중화 경향을 띠며, 부자는 최고의 데이터를 구입해 최고의 모델을 만들고 더 부유해지는 선순환을 만든다.
-
둘째, 사용자 생성 콘텐츠 플랫폼의 비즈니스 모델이 사용자에게 점점 더 불리해지고 있다. Reddit과 Stack Overflow 같은 플랫폼은 수백만 명의 무보수 창작자와 관리자의 기여에 의존한다. 그러나 이 플랫폼들이 AI 기업과 수백만 달러 규모의 계약을 맺을 때, 데이터를 만들어낸 사용자들에게 보상도 하지 않고 허락도 구하지 않는다.
Reddit과 Stack Overflow 모두 이러한 결정으로 인해 눈에 띄는 사용자 파업을 겪었다. 연방거래위원회(FTC)도 Reddit이 사용자 게시물을 외부 조직에 판매, 라이선스, 공유해 AI 모델 훈련에 사용한 행위에 대해 조사를 시작했다.
이러한 문제들은 다음 세대 AI 모델 훈련과 인터넷 콘텐츠의 미래에 중요한 질문을 제기한다. 현 상황 그대로라면 미래는 그리 낙관적이지 않다. 암호화 기술이 소기업과 인터넷 사용자에게 공정한 경쟁 환경을 제공하며 이러한 문제들을 어느 정도 해결할 수 있을까?
데이터 파이프라인
AI 모델 훈련과 유용한 애플리케이션 제작은 수개월간의 계획, 자원 할당, 실행이 필요한 복잡하고 비싼 작업이다. 이 과정은 여러 단계로 나뉘며, 각 단계마다 목적과 데이터 요구사항이 다르다.
이 단계들을 분해해봄으로써 암호화 기술이 전체 AI 퍼즐에 어떻게 맞물리는지 이해할 수 있다.
사전 훈련(Pretraining)
사전 훈련은 LLM 훈련 과정의 첫 번째이자 가장 자원을 많이 소모하는 단계로, 모델의 기초를 형성한다. 이 단계에서 AI 모델은 거대한 양의 무표준(unlabeled) 텍스트로 훈련되어 세상에 대한 일반적인 지식과 언어 사용 정보를 습득한다. 우리가 "GPT-4는 12조 토큰으로 훈련됐다"고 말할 때, 이는 사전 훈련에 사용된 데이터를 의미한다.
왜 사전 훈련이 LLM의 기반이 되는지 이해하려면 LLM 작동 원리에 대한 고차원적인 개요가 필요하다. 참고로 이것은 단순화된 설명일 뿐이다. 더 자세한 내용은 Jon Stokes의 훌륭한 글, Andrej Karpathy의 흥미로운 영상, Stephen Wolfram의 훌륭한 책에서 확인할 수 있다.
LLM은 '다음 토큰 예측(Next-Token Prediction)'이라는 통계 기법을 사용한다. 간단히 말해, 일련의 토큰(즉 단어)이 주어졌을 때, 모델은 다음에 올 가장 가능성 높은 토큰을 예측한다. 이 과정이 반복되며 완전한 응답을 형성한다. 따라서 대규모 언어 모델을 일종의 '완성 기계(completion machine)'로 볼 수 있다.
예를 들어 이해해보자.
내가 ChatGPT에게 "태양은 어느 방향에서 뜨나요?(What direction does the sun rise from)"라고 물으면, 먼저 "the"를 예측하고, 그 다음 순차적으로 "sun rises from the East" 문장의 각 단어를 예측한다. 그런데 이 예측들은 어디서 오는가? ChatGPT는 "the sun rises from" 다음에 왜 "the West", "the North", "Amsterdam"이 아닌 "the East"가 와야 하는지 어떻게 아는가? 다시 말해, "the East"가 다른 선택지보다 통계적으로 더 가능성이 높다고 어떻게 아는가?
정답은 대량의 고품질훈련 데이터로부터 통계적 패턴을 학습했기 때문이다. 인터넷상의 모든 텍스트를 고려했을 때, "태양은 동쪽에서 뜬다"와 "태양은 서쪽에서 뜬다" 중 어떤 표현이 더 자주 등장할까? 후자는 특정 맥락에서 나타날 수 있다. 예를 들어 문학적 은유("태양이 서쪽에서 뜨는 것만큼이나 터무니없다")나 다른 행성에 관한 논의(금성은 실제로 태양이 서쪽에서 뜬다) 등이다. 그러나 전반적으로 전자가 훨씬 더 흔하다.
반복적인 다음 단어 예측을 통해 LLM은 세계에 대한 일반적인 관점(일명 상식)과 언어 규칙 및 패턴에 대한 이해를 형성한다. LLM을 인터넷의 압축 버전으로 보는 또 다른 시각도 있다. 이는 데이터가 양적으로도 많아야 하고(더 많은 패턴 선택 가능), 질적으로도 좋아야 한다(패턴 학습 정확도 향상)는 이유를 이해하는 데 도움이 된다.
하지만 앞서 논의했듯이, AI 기업들은 더 큰 모델을 훈련시킬 데이터를 점점 고갈시키고 있다. 훈련 데이터 수요 증가 속도는 개방형 인터넷에서 새롭게 생성되는 데이터 속도를 훨씬 뛰어넘고 있다. 소송이 다가오고 주요 포럼들이 문을 닫는 가운데, AI 기업들은 심각한 문제에 직면해 있다.
소규모 기업들에게는 문제가 더 심각하다. Reddit 같은 독점 데이터 제공자와 수백만 달러 규모의 거래를 맺을 재정적 여력이 없기 때문이다.
이 지점에서 등장하는 것이 Grass, 즉 탈중앙화 주거용 프록시(proxy) 제공업체로, 이들은 이러한 데이터 문제를 해결하려 한다. 그들은 자신들을 "AI의 데이터 계층(data layer)"이라고 부른다. 먼저 주거용 프록시 제공업체란 무엇인지 알아보자.
인터넷은 훈련 데이터의 최고 원천이며, 인터넷 크롤링(crawling)은 기업들이 이러한 데이터를 확보하는 선호하는 방법이다. 실제 적용에서는 규모, 편의성, 효율성을 위해 크롤링 소프트웨어가 데이터센터에 호스팅된다. 그러나 가치 있는 데이터를 가진 기업들은 (보상을 받지 않는 한) 자사 데이터가 AI 모델 훈련에 사용되는 것을 원치 않는다. 이러한 제한을 시행하기 위해, 그들은 일반적으로 알려진 데이터센터 IP 주소를 차단해 대규모 크롤링을 방지한다.
이때 주거용 프록시 제공업체가 등장한다. 웹사이트는 알려진 데이터센터 IP 주소만 차단하며, 우리 같은 일반 인터넷 사용자의 연결은 차단하지 않는다. 따라서 우리의 인터넷 연결, 즉 주거용 인터넷 연결이 가치 있게 된다. 주거용 프록시 제공업체는 수백만 개의 이러한 연결을 집계해 AI 기업들을 위해 대규모로 데이터를 크롤링한다.
그러나 중심화된 주거용 프록시 제공업체는 은밀하게 운영된다. 그들은 보통 자신의 의도를 명확히 하지 않는다. 사용자가 어떤 제품이 자신의 대역폭을 사용하고 있다는 것을 알면, 공유를 꺼릴 가능성이 높다. 더 나쁘게는, 사용된 대역폭에 대해 보상을 요구할 수 있으며, 이는 제공업체의 수익을 줄일 것이다.
이윤을 보호하기 위해, 주거용 프록시 제공업체는 휴대폰 유틸리티 앱(계산기, 음성 녹음기 등), VPN 제공업체, 심지어 소비자용 TV 스크린세이버에 이르기까지 널리 퍼진 무료 앱에 대역폭을 소모하는 코드를 탑재한다. 사용자들은 무료 제품을 얻는다고 생각하지만, 실제로는 제3자 주거용 제공업체가 그들의 대역폭을 소모하고 있는 것이다(이 세부사항은 대부분 사람들이 읽지 않는 서비스 약관에 숨겨져 있다).
결국, 이 데이터 일부는 AI 기업으로 흘러가 모델을 훈련시키고 그들 스스로에게 가치를 창출한다.
Andrej Radonjic는 자신의 주거용 프록시 제공업체를 운영하면서 이러한 관행의 비윤리성과 사용자에 대한 불공정성을 깨달았다. 그는 암호화 기술의 발전을 보고, 더 공정한 해결책을 만들 수 있는 방법을 발견했다. 이것이 2022년 말 Grass가 설립된 배경이다. 몇 주 후 ChatGPT가 출시되며 세상을 바꾸었고, Grass는 올바른 시기에 올바른 위치에 놓이게 되었다.
Grass는 다른 주거용 프록시 제공업체들이 사용하는 은밀한 전략과 달리, 사용자들에게 AI 모델 훈련 목적으로 자신의 대역폭이 사용된다는 사실을 명확히 알린다. 그 대가로 사용자들은 직접 보상을 받는다. 이 모델은 주거용 프록시 제공업체의 운영 방식을 뒤집는다. 자발적으로 대역폭을 제공하고 네트워크의 일정 부분을 소유함으로써, 사용자는 수동적인 참여자에서 능동적인 지지자로 변모하며, 네트워크 신뢰성을 높이고 AI가 창출한 가치에서 수익을 얻는다.
Grass의 성장은 놀랍다. 2023년 6월 출시 이후, 브라우저 확장 프로그램이나 모바일 앱을 설치해 노드를 운영하고 대역폭을 기여하는 200만 명 이상의 활성 사용자를 확보했다. 외부 마케팅 비용 없이도 매우 성공적인 추천 프로그램 덕분에 달성한 성장이다.
Grass를 사용하면 대규모 AI 연구소부터 오픈소스 스타트업까지 다양한 기업들이 낮은 비용으로 크롤링 훈련 데이터를 확보할 수 있다. 동시에 각 일반 사용자들은 인터넷 연결을 공유함으로써 보상을 받고, 빠르게 성장하는 AI 경제의 일부가 된다.
Grass는 원시 크롤링 데이터 외에도 고객에게 몇 가지 부가 서비스를 제공한다.
첫째, 비구조화된 웹페이지를 AI 모델이 쉽게 처리할 수 있는 구조화된 데이터로 변환한다. 이 과정은 데이터 정제(data cleaning)라 불리며, 일반적으로 AI 연구소가 부담하는 자원 집약적인 작업이다. Grass는 구조화되고 깨끗한 데이터셋을 제공함으로써 고객에게 제공하는 가치를 강화한다. 또한 Grass는 크롤링, 준비, 데이터 태깅 과정을 자동화하기 위해 오픈소스 LLM도 훈련시키고 있다.
둘째, Grass는 데이터셋에 위조 불가능한 출처 증명(proof of provenance)을 첨부한다. 고품질 데이터가 AI 모델에 얼마나 중요한지 감안할 때, 데이터셋이 악의적인 웹사이트나
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
@Decentralisedco
