TechFlow, le 9 janvier, selon TechCrunch, Elon Musk a déclaré lors d'une conversation en direct avec Mark Penn, président de Stagwell, que l'ensemble des connaissances humaines utilisées comme données d'entraînement pour l'IA était pratiquement épuisé en 2024. Cette opinion rejoint la théorie du « pic de données » avancée par Ilya Sutskever, ancien scientifique en chef d'OpenAI, lors de la conférence NeurIPS en décembre.
Elon Musk estime que les données synthétiques deviendront une voie clé pour le développement futur de l'IA. Actuellement, des géants technologiques tels que Microsoft, Meta, OpenAI et Anthropic ont déjà adopté des schémas d'entraînement basés sur des données synthétiques pour leurs modèles phares. Par exemple, Phi-4 récemment publié en open source par Microsoft, le modèle Gemma de Google, Claude 3.5 Sonnet d'Anthropic, ainsi que les derniers modèles de la série Llama de Meta, ont tous utilisé des données synthétiques pour l'entraînement ou l'ajustement fin.
D’un point de vue coût, le modèle Palmyra X 004 développé par la start-up spécialisée dans l'IA Writer, presque entièrement à partir de données synthétiques, n'a coûté que 700 000 dollars, un montant bien inférieur aux 4,6 millions de dollars nécessaires à OpenAI pour développer un modèle de taille comparable. Toutefois, des études montrent que l'utilisation de données synthétiques pourrait entraîner un effondrement du modèle, rendant ses sorties moins créatives et amplifiant les biais, car les préjugés et limites présents dans les données d’entraînement initiales sont aggravés durant le processus de synthèse. Selon Gartner, environ 60 % des données utilisées dans les projets d’IA et d’analyse étaient générées de façon synthétique en 2024.
