OpenAI에 '계정 정지'를 당한 자이트, 그들이 무슨 속셈을 갖고 있는가?
글: 거다명이
2023년도 이제 얼마 남지 않았는데, 해가 끝나갈 무렵 또다시 커다란 파문이 터졌다.
최근 《The Verge》의 보도에 따르면,
바이트댄스는 자사 대규모 모델 개발을 위해 ChatGPT의 API를 사용했다가 OpenAI로부터 '계정 정지'를 당했다.
사후 바이트댄스는 이 행위가 "단순한 테스트 목적"이었으며 이미 중단 조치를 내렸다고 해명했지만,
어쨌든 이 사건은 상당히 많은 추측을 낳게 한다…
바이트댄스의 계정 정지 사태 뒤에는 어떤 속셈이 숨어 있는 것일까?
1. 바이트댄스가 원하는 것은 무엇인가?
《The Verge》의 보도에서는 바이트댄스가 OpenAI의 API를 어떻게 자사 대규모 모델 개발에 활용했는지 구체적으로 밝히지는 않았지만, 일반적으로 한 대규모 모델(예: OpenAI의 GPT)을 이용해 다른 대규모 모델을 훈련시키는 방법은 몇 가지로 나뉜다.
그중 하나가 바로 '사부-제자 방식'이다.
기존의 우수한 모델('사부')가 다양한 작업을 수행하며 생성한 출력물(예: 텍스트, 이미지 등)을 새로운 모델('제자')가 관찰하고 이를 모방하는 방식이다.
이렇게 하여 제자는 유사한 과제를 처리하는 법을 익힐 수 있으며, 실제 적용 시 기존 모델이 생성한 데이터를 학습하게 함으로써 실현할 수 있다.
또 다른 방법은 '사부'와 '제자' 모델이 공동으로 작업을 수행하는 협동 훈련 방식이다.
실제로는 두 모델이 일부 층이나 파라미터를 공유하게 하여 서로 학습하고 도우며 과제를 함께 완성하도록 할 수 있다.
기술적 타당성을 고려할 때 이번 사건에서 바이트댄스가 사용했을 가능성이 더 큰 것은 첫 번째 방식이다.
즉,OpenAI API가 생성한 데이터를 학습용 데이터로 활용한 것이다.
따라서 이번 논란에서 바이트댄스가 진정으로 원했던 것은 ChatGPT가 생성한 고품질 언어 데이터였다.
그리고 이러한 데이터야말로 모든 대규모 모델 개발 과정에서 가장 갈망하는 '황금알'이다.
하지만 OpenAI의 이용 약관에는 자사 모델을 이용해 경쟁 제품을 개발하는 것을 명확히 금지하고 있으므로, 바이트댄스의 계정 정지는 어쩌면 필연적인 결과였다.
문제는 강력한 자원과 인력을 갖춘 대기업인 바이트댄스가 굳이 데이터 수집 및 언어 라벨링 작업을 위해 이런 위험한 선택을 한 이유가 무엇이냐는 점이다.
2. 왜 위험을 무릅썼는가?
사실 현재 대규모 모델 경쟁 구도에서 바이트댄스가 부족한 것은 인재나 자금이 아니라 '시간'이다.
백두, 쉰페이 등 국내 주요 기업들과 비교하면 바이트댄스가 본격적으로 대규모 모델 분야에 진입한 시점은 상당히 늦은 편이다.
시간상으로 보면 바이트댄스가 처음으로 출시한 대규모 모델 '두바오'는 올해 8월 중순에야 등장했는데, 그 시점에 대규모 모델 열풍은 이미 거의 반 년 가까이 지속된 상태였다.
대규모 모델 시장에 진출하려는 모든 참가자들은 알고 있다. 모델 레이어의 경쟁에는 시간 창이 존재한다는 것을 말이다.
선도적으로 시장에 진입한 기업들은 더 많은 사용자, 데이터, 경험을 축적하여 경쟁 우위를 확보할 수 있다. 후발주자가 이를 따라잡기 위해서는 훨씬 더 큰 노력과 비용이 필요하다.
비록 8월 출시된 두바오는 바이트댄스가 겨우 모델 레이어의 막차를 타게 해주었지만, 성능과 포지셔닝 측면에서 보면 이는 단순히 트렌드에 편승한 일회성 작품에 가깝고, 기존 사업과의 통합은 미흡했다.
틱톡 같은 모바일 인터넷 시대의 대박 앱을 만들어낸 대기업인 바이트댄스가 진정 원하는 것은 문심일언처럼 보다 범용적이며 다재다능한, 그리고 자사 앱들에 통합되거나 내장될 수 있는 대규모 모델이다.
그래서 이후 바이트댄스는 '씨드 프로젝트'를 추진하게 되었고, 올해 말까지 GPT-3.5 수준의 성능을 가진 Seed 대규모 모델을 개발하겠다는 목표를 세웠다.
문제는 대규모 모델의 훈련이 결코 단시간에 이루어질 수 없다는 점이다.
데이터 라벨링, 고품질 언어 데이터 추출 등 복잡하고 번거로운 전처리 작업들이 모두 시간을 필요로 한다.
그러면 짧고 긴박한 시간 안에 충분한 양의 고품질 언어 데이터를 어떻게 확보할 수 있을까?
가장 신뢰할 만한 방법은 검증된, 성숙도가 높은 모델의 데이터를 직접 활용하는 것이다. 예를 들어 ChatGPT의 데이터가 그러하다.
3. 모델 레이어의 창문 기간
사실 바이트댄스뿐만 아니라, 최전선의 AI 기업인 구글조차도 '급속한 성과'를 위해 비슷한 행동을 한 적이 있다.
이번 달 초 구글은 자신들이 크게 기대했던 대규모 모델 Gemini가 비영어권 질의응답을 잘 처리하지 못해 출시가 연기된다고 실망스럽게 발표했다.
하지만 며칠 뒤 기이하게도 구글은 다시 발걸음을 돌려 12월 6일 Gemini를 공식 출시하며, 이전에 언급된 '결함'이 더 이상 문제가 아니게 된 것처럼 보였다.
이후 네티즌들의 테스트 결과, 구글이 사실 백두의 문심일언에서 이미 '해결책'을 찾아냈다는 것이 드러났다.
웨이보 인플루언서 @란쉬야를 포함한 다수의 네티즌들이 테스트한 결과, Gemini-Pro와 중국어로 소통할 때 '너 누구야?'라고 묻자, 곧바로 "나는 백두 문심 대규모 모델입니다"라고 답했다.
이런 상황 때문에 사람들은 구글이 문심일언의 중국어 언어 데이터를 직접 훈련에 사용했다고 추측하게 되었다.
GPT-4를 따라잡기 위해 구글은 정말 필사적인 노력을 기울인 셈이다.
하지만 장기적으로 보면 이런 대기업 간의 데이터 '훔쳐쓰기'는 일시적인 현상에 불과하다.
이처럼 여러 차례 '드러난' 후에는 각 기업들이 자사 데이터를 더욱 엄격하고 철저하게 보호하게 될 것이기 때문이다.
그럼에도 불구하고 이런 데이터 상호 활용 행위는 많은 사용자와 투자자들로 하여금 의문을 품게 한다. 만약 기술적으로 각 모델의 데이터가 쉽게 서로 교환 가능하다면, 장차 ChatGPT 등 소수의 선두 모델을 제외하고 나머지 모델 중 어느 것이 진짜 '본질'을 갖췄는가?
이러한 우려의 배경에는 더 중요한 선행 질문이 존재한다.
왜 우리는 그렇게 많은 유사한 대규모 모델이 필요할까?
결국 인간의 언어 데이터는 한정되어 있으며, 선도 팀들의 모델(예: ChatGPT)이 대부분을 이미 선점했고, 나머지 소량의 전용 데이터 역시 각 수직 산업 분야에서 이미 분배되었다.
현재 모델 레이어의 창업 붐이 거의 끝나가는 시점에서, 데이터보다 더 큰 격차를 만들어내는 것은 훈련 방식의 차별화와 이를 통해 구축된 다양한 기능들이다.
이 점이 사용자들이 이러한 '모방' 행위를 용납할 수 있는지의 핵심 요소가 된다.
이 부분에서 구글의 Gemini는 더 강력한 네이티브 멀티모달 기능(과장 의혹 있음)을 제시했다.
바이트댄스의 Seed 대규모 모델이 미래에 역전하여 사용자의 신뢰를 얻을 수 있을지 여부도 결국 '한 가지 장점이 모든 단점을 덮는' 돌파구가 있는지에 달려 있다.
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
