TechFlowの報道によると、1月9日、TechCrunchの報道を引用して、マスク氏がStagwell会長のマーク・ペイン氏とのライブ対談で、AIトレーニングデータとしての人間の知識の総量は2024年にほぼ枯渇したと述べた。この見解は、先月NeurIPS会議でOpenAI前チーフサイエンティストのイリヤ・サツケバー氏が提唱した「データピーク」理論と呼応している。
マスク氏は、合成データが今後のAI発展の鍵となる戦略になると指摘した。現在、Microsoft、Meta、OpenAI、Anthropicなどのテック大手は、すでに主力AIモデルに合成データを用いたトレーニング手法を導入している。具体的には、Microsoftが新たにオープンソース化したPhi-4、GoogleのGemmaモデル、AnthropicのClaude 3.5 Sonnet、およびMetaの最新Llamaシリーズモデルが、いずれも合成データによるトレーニングまたはファインチューニングを採用している。
コスト面では、AIスタートアップのWriter社がほぼ完全に合成データを使用して開発したPalmyra X 004モデルの開発費用は70万ドルにとどまり、同等規模のOpenAIモデルの460万ドルという開発コストと比べて大幅に低くなっている。しかし研究では、合成データの利用によりモデル崩壊（model collapse）が生じる可能性があり、出力結果の創造性が低下し、バイアスが強まるリスクがあることが示されている。これは、元のトレーニングデータに含まれるバイアスや制約が、合成プロセスを通じて拡大されるためである。Gartnerの統計によれば、2024年時点でAIおよび分析プロジェクトにおけるデータの約60％が合成生成されたものとなっている。
