TechFlow 소식에 따르면, 1월 9일 TechCrunch 보도에 따르면 머스크는 Stagwell 회장 마크 펜(Mark Penn)과의 라이브 대화에서 인류 지식의 총합을 AI 학습 데이터로 활용하는 방식이 2024년 기본적으로 고갈될 것이라고 밝혔다. 이는 지난 12월 NeurIPS 컨퍼런스에서 OpenAI 전 최고 과학자 일야 서츠크버(Ilya Sutskever)가 제시한 '데이터 피크(data peak)' 이론과 맥을 같이한다.
머스크는 합성 데이터(synthetic data)가 향후 AI 발전의 핵심 경로가 될 것이라고 강조했다. 현재 마이크로소프트, 메타, OpenAI, Anthropic 등의 주요 기술 기업들은 이미 자사의 주력 AI 모델에 합성 데이터를 활용한 학습 방식을 도입하고 있다. 예를 들어 마이크로소프트가 최근 공개한 Phi-4, 구글의 Gemma 모델, Anthropic의 Claude 3.5 Sonnet, 그리고 메타의 최신 Llama 시리즈 모델 등이 모두 합성 데이터를 이용해 학습 또는 파인튜닝(fine-tuning)을 수행했다.
비용 측면에서도 AI 스타트업 Writer가 거의 전량 합성 데이터를 사용해 개발한 Palmyra X 004 모델은 단 70만 달러의 비용이 들었으며, 이는 OpenAI의 동급 규모 모델 개발 비용(460만 달러)보다 훨씬 낮은 수준이다. 그러나 연구에 따르면 합성 데이터는 모델 붕괴(model collapse) 문제를 유발할 수 있으며, 이로 인해 모델 출력 결과의 창의성이 저하되고 편향(bias)이 심화될 수 있다. 이는 원본 학습 데이터 내 편향과 한계가 합성 과정에서 증폭되기 때문으로 분석된다. 가트너(Gartner) 통계에 따르면 2024년 AI 및 애널리틱스 프로젝트에서 사용된 데이터의 약 60%가 합성 생성 데이터였다.
