Variant 투자 파트너: 오픈소스 AI의 딜레마와 돌파구, 왜 암호화 기술이 마지막 조각인가?
번역: TechFlow
요약
-
현재 기초 AI 개발은 소수의 대형 기술 기업들에 의해 주도되며, 폐쇄적이고 경쟁이 부족한 구조를 보이고 있다.
-
오픈소스 소프트웨어 개발은 잠재적인 해결책이 될 수 있지만, 기초 AI는 전통적인 오픈소스 프로젝트(예: 리눅스)처럼 작동할 수 없다. 그 이유는 '자원 문제' 때문이다. 즉, 오픈소스 기여자들이 단순히 시간만 투입하는 것이 아니라, 개인의 능력을 초월하는 막대한 컴퓨팅 및 데이터 비용을 감당해야 하기 때문이다.
-
암호화 기술은 자원 제공자가 기초 오픈소스 AI 프로젝트에 참여하도록 인센티브를 부여함으로써 이러한 자원 문제를 해결할 수 있다.
-
오픈소스 AI와 암호화 기술을 결합하면 더 큰 규모의 모델 개발을 지원하고 혁신을 촉진하여 더욱 진보된 AI 시스템을 창출할 수 있다.
서론
피우 리서치 센터(Pew Research Center)가 2024년 실시한 설문조사에 따르면, 미국인의 64%는 소셜미디어가 국가에 미치는 영향이 해로운 측면이 더 많다고 생각한다. 또한 78%는 소셜미디어 기업들이 정치에서 과도한 권력과 영향력을 행사한다고 답했으며, 83%는 이들 플랫폼이 자신과 반대되는 정치적 견해를 고의로 검열할 가능성이 크다고 믿고 있다. 미국 사회에서 거의 유일하게 공감대를 형성하는 사항 중 하나가 바로 소셜미디어에 대한 불만이다.
지난 20년간 소셜미디어의 발전 과정을 되돌아보면, 이러한 상황은 이미 예견된 것이었다. 이야기는 복잡하지 않다. 소수의 대형 기술 기업들이 사용자의 관심과 무엇보다도 사용자 데이터를 장악했다. 초기에는 데이터의 개방성에 대한 기대가 있었지만, 이들 기업은 빠르게 방향을 바꾸어 데이터를 이용해 깨뜨릴 수 없는 네트워크 효과를 만들었고, 외부 접근을 차단했다. 결국 오늘날 우리는 10개 미만의 대형 기술 기업이 소셜미디어 산업을 지배하며 '과점' 상태를 이루고 있는 현실을 맞이하게 되었다. 이들에게 현재 상황은 매우 유리하기 때문에, 변화를 추구할 동기가 거의 존재하지 않는다. 이는 폐쇄적이며 경쟁이 결여된 구조이다.
오늘날 AI 기술의 발전 양상은 마치 이 과거의 상황을 되풀이하려는 듯하다. 그러나 이번에는 그 파급력이 훨씬 더 크다. 소수의 기술 기업들이 GPU와 데이터 자원을 장악하고 기초 AI 모델을 구축하면서, 이를 외부에 공개하지 않고 있다. 수십억 달러의 자금이 없는 신규 진입자들은 경쟁 가능한 모델을 개발하는 것이 거의 불가능하다. 기초 모델 한 번 학습하는 데만 수십억 달러의 컴퓨팅 비용이 들기 때문이다. 그리고 이전 기술 붐에서 이익을 본 소셜미디어 기업들은 독점적 사용자 데이터를 활용해 경쟁자들이 따라올 수 없는 모델을 개발하고 있다. 우리는 다시 소셜미디어 시절의 실패를 반복하며, 폐쇄적이고 경쟁이 없는 AI 세계로 나아가고 있다. 이 추세가 계속된다면 소수의 기술 기업들이 정보와 기회의 접근에 대해 제한 없는 통제력을 갖게 될 것이다.
오픈소스 AI와 '자원 문제'
폐쇄적인 AI 세계를 원하지 않는다면, 우리의 선택지는 무엇인가? 명백한 답은 기초 모델을 오픈소스 소프트웨어 프로젝트로서 개발하는 것이다. 역사적으로 우리는 일상에서 의존하는 핵심 소프트웨어를 성공적으로 구축한 무수한 오픈소스 프로젝트들을 경험해왔다. 예를 들어 리눅스(Linux)의 성공은 운영체제라는 가장 중심적인 소프트웨어조차도 오픈소스 방식으로 개발될 수 있음을 입증했다. 그렇다면 왜 LLM(대규모 언어 모델)은 안 되겠는가?
그러나 기초 AI 모델은 전통적 소프트웨어와 다른 특수한 제약을 받으며, 이는 전통적 오픈소스 프로젝트로서의 실행 가능성을 크게 낮춘다. 특히 기초 AI 모델은 개인의 역량을 훨씬 초월하는 막대한 컴퓨팅 및 데이터 자원을 필요로 한다. 전통적 오픈소스 프로젝트가 기여자들의 시간 기부에만 의존하는 것과 달리, 오픈소스 AI는 계산 능력과 데이터 자원의 기부를 요구한다. 이것이 바로 '자원 문제'라 불리는 현상이다.
메타(Meta)의 LLaMa 모델을 통해 이 자원 문제를 더 잘 이해할 수 있다. OpenAI나 Google 같은 경쟁사들과 달리, 메타는 모델을 유료 API 뒤에 occlusion하지 않고 LLaMa의 가중치를 누구나 무료로 사용할 수 있도록 공개했다(일정한 제한 조건 하에). 이 가중치는 메타가 모델을 학습하는 과정에서 획득한 지식을 포함하며, 모델을 실행하는 데 필수적이다. 이 가중치를 확보하면 사용자는 모델을 미세 조정하거나, 해당 출력을 새로운 모델의 입력으로 활용할 수 있다.
메타가 LLaMa의 가중치를 공개한 것은 긍정적인 조치이지만, 이를 진정한 의미의 오픈소스 소프트웨어 프로젝트라고 보기는 어렵다. 메타는 내부적으로 자신의 컴퓨팅 자원과 데이터, 의사결정을 바탕으로 모델의 학습 과정을 독점적으로 관리하며, 언제 공개할지를 일방적으로 결정한다. 메타는 독립된 연구자나 개발자를 공동 작업 커뮤니티에 초대하지 않는다. 왜냐하면 모델을 학습하거나 재학습하는 데 필요한 자원—수만 개의 고성능 GPU, 이들을 저장하는 데이터센터, 복잡한 냉각 설비, 수조 토큰(모델 학습을 위한 텍스트 데이터 단위) 규모의 학습 데이터—는 일반 개인의 능력을 압도하기 때문이다. 스탠포드 대학교의 2024 인공지능 지수 보고서는 "학습 비용의 급격한 증가는 전통적으로 AI 연구의 중심지였던 대학들을 정상급 기초 모델 개발에서 실질적으로 배제하고 있다"고 지적한다. 예를 들어, 샘 알트먼(Sam Altman)은 GPT-4의 학습 비용이 최대 1억 달러에 달한다고 언급했으며, 이는 하드웨어 설비에 대한 자본 지출을 포함하지 않은 금액이다. 또한 메타의 자본 지출은 2024년 2분기에 2023년 동기 대비 21억 달러 증가했으며, 주로 AI 모델 학습 관련 서버, 데이터센터, 네트워크 인프라에 사용되었다. 따라서 LLaMa 커뮤니티의 기여자들이 모델 아키텍처를 개선할 기술적 역량을 보유하고 있을지라도, 실제로 이러한 개선을 실현할 충분한 자원은 갖추지 못하고 있다.
요약하면, 전통적 오픈소스 소프트웨어 프로젝트와 달리, 오픈소스 AI 프로젝트는 기여자들이 시간뿐 아니라 막대한 컴퓨팅 및 데이터 비용까지 부담해야 한다. 선의와 자원봉사 정신만으로 충분한 자원 제공자를 유인하는 것은 비현실적이다. 이들에게는 추가적인 인센티브 메커니즘이 필요하다. 오픈소스 대규모 언어 모델인 BLOOM을 예로 들면, 이 1760억 개의 파라미터를 가진 모델은 70개국 이상, 250개 이상의 기관에서 온 1000명의 자원 연구자들이 참여했다. BLOOM의 성과는 존경할 만하며(필자도 전폭적으로 지지한다), 하지만 한 차례 학습을 조율하는 데 1년이 걸렸고, 프랑스 연구기관에서 제공한 300만 유로의 자금 지원에 의존했다(이 금액은 슈퍼컴퓨터의 자본 지출을 포함하지 않는다). BLOOM의 조정과 반복 개발을 위해 매번 새로운 자금 지원을 요청하는 것은 번거롭고, 대형 기술 연구소의 개발 속도와 경쟁하기 어렵다. BLOOM 출시 후 2년이 넘었지만, 이 팀이 후속 모델을 개발했다는 소식은 아직 없다.
오픈소스 AI를 가능하게 하기 위해서는 기여자가 자비로 부담하지 않고도 자원 제공자들이 컴퓨팅 능력과 데이터를 기부하도록 유도하는 방법을 찾아야 한다.
왜 암호화 기술이 기초 오픈소스 AI의 '자원 문제'를 해결할 수 있는가?
암호화 기술의 핵심 돌파구는 '소유권' 메커니즘을 통해 고자원 비용이 요구되는 오픈소스 소프트웨어 프로젝트를 가능하게 하는 것이다. 이는 기여자에게 자원 비용을 전가하는 것이 아니라, 자원 제공자가 네트워크에 참여하도록 인센티브를 부여함으로써 오픈소스 AI의 자원 문제를 해결한다.
비트코인은 훌륭한 예시다. 최초의 암호화 프로젝트인 비트코인은 코드가 처음부터 공개된 완전한 오픈소스 소프트웨어 프로젝트다. 그러나 코드 자체가 비트코인의 핵심은 아니다. 비트코인 노드 소프트웨어를 다운로드해서 로컬에 블록체인을 생성하는 것은 실질적인 가치가 없다. 오직 채굴 블록의 계산량이 어느 개인 기여자의 능력을 훨씬 초월할 때, 이 소프트웨어의 진정한 가치가 나타난다. 즉, 탈중앙화되고 누구도 통제하지 않는 장부를 유지하는 것이다. 기초 오픈소스 AI와 마찬가지로, 비트코인 역시 개인의 능력을 벗어난 자원이 필요한 오픈소스 프로젝트다. 두 시스템이 컴퓨팅 자원을 필요로 하는 이유는 다르다—비트코인은 네트워크의 위변조 방지를 위해, 기초 AI는 모델의 최적화와 반복 개발을 위해—하지만 공통점은 모두 개인을 초월한 자원에 의존해야 한다는 점이다.
비트코인과 기타 모든 암호화 네트워크는 토큰을 통해 네트워크 소유권을 제공함으로써 자원 제공자가 오픈소스 소프트웨어 프로젝트에 자원을 기여하도록 유도하는 '비결'을 가지고 있다. 제시(Jesse)가 2020년 Variant를 위해 작성한 설립 철학에서 설명했듯이, 소유권은 자원 제공자에게 강력한 동기를 부여하여, 그들이 네트워크 내 잠재적 수익을 얻기 위해 자원을 기부하도록 만든다. 이 메커니즘은 스타트업이 초기 자금 부족 문제를 해결하기 위해 '땀의 지분(sweat equity)'을 활용하는 것과 유사하다. 즉, 회사 소유권 형태로 초기 직원(예: 공동창업자)에게 보상을 제공함으로써, 스타트업은 자체적으로 감당할 수 없는 인력을 유치할 수 있다. 암호화 기술은 '땀의 지분' 개념을 시간 기여자에 국한하지 않고 자원 제공자까지 확장한다. 따라서 Variant는 유니스왑(Uniswap), 모르포(Morpho), 월드(World)와 같은 소유권 메커니즘을 활용해 네트워크 효과를 구축하는 프로젝트에 투자하는 데 집중하고 있다.
오픈소스 AI를 현실로 만들고자 한다면, 암호화 기술이 제공하는 소유권 메커니즘은 자원 문제를 해결하는 핵심 해법이다. 이 메커니즘을 통해 연구자들은 높은 초기 비용을 스스로 부담하지 않고도 자신의 모델 설계 아이디어를 오픈소스 프로젝트에 자유롭게 기여할 수 있다. 필요한 컴퓨팅 및 데이터 자원은 자원 제공자가 부담하며, 그 대가로 프로젝트의 일부 소유권을 얻게 된다. 오픈소스 AI에서 소유권은 다양한 형태를 가질 수 있으나, 가장 기대되는 형태는 모델 자체에 대한 소유권이며, 이는 플루랄리스(Pluralis)가 제안한 해결책이다.
플루랄리스가 제안한 이 접근법은 프로토콜 모델(Protocol Models)이라 불린다. 이 방식에서 컴퓨팅 자원 제공자는 특정 오픈소스 모델을 학습시키기 위해 컴퓨팅 능력을 기부하고, 그 대가로 해당 모델의 미래 추론(inference) 수익의 일부 소유권을 얻는다. 이 소유권은 특정 모델에 연결되어 있으며, 모델의 추론 수익을 기반으로 가치가 책정되기 때문에, 컴퓨팅 제공자는 무효한 학습 데이터를 제공하지 않고 최적의 모델을 학습하려는 동기를 갖게 된다(무의미한 데이터를 제공하면 미래 추론 수익이 감소하기 때문). 그러나 중요한 질문 하나는 남는다. 학습 과정에서 모델의 가중치를 컴퓨팅 제공자에게 전송해야 한다면, 플루랄리스는 어떻게 소유권의 보안을 보장하는가? 답은 '모델 병렬화(Model Parallelism)' 기술을 사용해 모델을 분할하고 각각의 작업자에게 배포하는 것이다. 신경망의 중요한 특징 중 하나는 전체 가중치의 극소 부분만을 알고 있어도 계산자가 학습 과정에 참여할 수 있다는 점이다. 이를 통해 전체 가중치 집합이 추출되는 것을 방지할 수 있다. 게다가 플루랄리스 플랫폼에서는 여러 모델이 동시에 학습되기 때문에, 각 학습자는 서로 다른 수많은 가중치 집합을 접하게 되어, 전체 모델을 재구성하는 것이 극도로 어려워진다.
프로토콜 모델의 핵심 개념은, 이 모델들은 학습되고 사용될 수는 있지만, 프로토콜로부터 완전히 추출되는 것은 불가능하다는 점이다(모델을 처음부터 학습하는 데 필요한 컴퓨팅 능력을 초과하지 않는 한 말이다). 이 메커니즘은 폐쇄형 AI 경쟁자들이 오픈소스 프로젝트의 성과를 도용할 수 있다는, 오픈소스 AI 비판자들이 자주 제기하는 문제를 해결한다.
왜 암호화 + 오픈소스 = 더 나은 AI인가?
글의 시작에서 나는 대형 기술 기업들의 AI 통제를 분석함으로써, 폐쇄형 AI가 윤리적·규범적으로 어떤 문제를 안고 있는지를 설명했다. 그러나 무력감이 팽배한 오늘날의 네트워크 시대에 이런 논리는 많은 독자들의 공감을 얻기 어렵다는 우려가 있다. 그래서 실질적인 효과 측면에서 두 가지 이유를 들어, 암호화 기술이 지원하는 오픈소스 AI가 왜 진정으로 더 나은 AI를 만들어낼 수 있는지 설명하고자 한다.
첫째, 암호화 기술과 오픈소스 AI의 결합은 더 많은 자원을 조율할 수 있어 차세대 기초 모델(Foundation Models)의 발전을 추진할 수 있다. 컴퓨팅 능력이나 데이터 자원의 증가가 모델 성능 향상에 기여한다는 연구 결과는 명확하며, 이것이 기초 모델의 규모가 계속 커지고 있는 이유이기도 하다. 비트코인은 오픈소스 소프트웨어와 암호화 기술이 컴퓨팅 능력 면에서 어떤 잠재력을 지녔는지를 보여주는 사례다. 비트코인은 세계에서 가장 크고 강력한 컴퓨팅 네트워크가 되었으며, 그 규모는 대형 기술 기업들이 보유한 클라우드 컴퓨팅 자원을 훨씬 초월한다. 암호화 기술의 독특한 점은 고립된 경쟁을 협력적 경쟁으로 전환할 수 있다는 것이다. 각자 따로 노는 대신 공동의 문제 해결을 위해 자원을 기부하도록 유도함으로써, 암호화 네트워크는 자원을 효율적으로 활용한다. 암호화 기술을 활용한 오픈소스 AI는 전 세계의 컴퓨팅 및 데이터 자원을 활용해 폐쇄형 AI를 압도하는 규모의 모델을 구축할 수 있다. 예를 들어, 하이퍼볼릭(Hyperbolic)은 이러한 모델의 가능성을 이미 보여주고 있다. 그들은 누구나 낮은 비용으로 GPU를 임대할 수 있는 개방형 시장을 통해 분산된 컴퓨팅 자원을 최대한 활용하고 있다.
둘째, 암호화 기술과 오픈소스 AI의 결합은 혁신을 가속화할 것이다. 자원 문제가 해결되면 머신러닝 연구는 고도로 반복적이고 혁신적인 오픈소스 본질로 돌아갈 수 있기 때문이다. 대규모 언어 모델(LLM) 등장 이전, 머신러닝 연구자들은 보통 자신의 모델과 재현 가능한 설계도를 공개적으로 발표했다. 이 모델들은 일반적으로 오픈소스 데이터셋을 사용했고, 컴퓨팅 요구도 비교적 낮았기 때문에 연구자들은 이를 기반으로 계속해서 최적화와 혁신을 추구할 수 있었다. 바로 이러한 개방적인 반복 과정이 순차적 모델링 분야의 수많은 돌파구—순환 신경망(RNN), 장단기 기억망(LSTM), 주의 메커니즘(Attention Mechanisms)—를 낳았고, 궁극적으로 트랜스포머(Transformer) 아키텍처의 등장을 가능하게 했다. 그러나 GPT-3 출시 이후 이 개방적인 연구 방식은 변화했다. OpenAI는 GPT-3와 ChatGPT의 성공을 통해 충분한 컴퓨팅 자원과 데이터를 투입하면 자연어 이해 능력을 갖춘 대규모 언어 모델을 학습할 수 있음을 입증했다. 이 추세는 자원 장벽을 급격히 높였고, 학계를 실질적으로 배제시켰으며, 대형 기술 기업들은 경쟁 우위를 유지하기 위해 더 이상 모델 아키텍처를 공개하지 않게 되었다. 이로 인해 AI 기술의 최전선을 발전시키는 우리의 능력이 제한되고 있다.
암호화 기술을 통한 오픈소스 AI는 이러한 현상을 바꿀 수 있다. 연구자들이 다시 최첨단 모델을 반복 개발할 수 있게 되어 '다음 트랜스포머'를 발견할 수 있을 것이다. 이러한 결합은 자원 문제를 해결할 뿐 아니라 머신러닝 분야의 혁신 에너지를 다시 활성화시켜, AI의 미래 발전을 위한 더 넓은 길을 열어줄 것이다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
Variant
