深潮 TechFlow 消息，1 月 9 日，據 TechCrunch 報道，馬斯克在與 Stagwell 董事長 Mark Penn 的直播對話中表示，人類知識總和作為 AI 訓練數據已在 2024 年基本耗盡，這一觀點呼應了 OpenAI 前首席科學家 Ilya Sutskever 在 12 月 NeurIPS 會議上提出的“數據峰值”理論。

馬斯克認為，合成數據將成為未來 AI 發展的關鍵路徑。目前，Microsoft、Meta、OpenAI 和 Anthropic 等科技巨頭已在其旗艦 AI 模型中採用合成數據訓練方案。其中，Microsoft 新開源的 Phi-4、Google 的 Gemma 模型、Anthropic 的 Claude 3.5 Sonnet 以及 Meta 最新的 Llama 系列模型均採用了合成數據進行訓練或微調。

從成本角度看，AI 初創公司 Writer 使用近乎全部合成數據開發的 Palmyra X 004 模型僅花費 70 萬美元，顯著低於 OpenAI 同等規模模型 460 萬美元的開發成本。然而研究顯示，合成數據可能導致模型坍塌問題，使模型輸出更不具創造性且偏見加劇，這源於原始訓練數據中的偏見和侷限性會在合成過程中被放大。根據 Gartner 統計，2024 年 AI 和分析項目中約 60% 的數據為合成生成。