Les entreprises de grands modèles s'impliquent de plus en plus dans les puces : Nvidia en danger ?
TechFlow SélectionTechFlow Sélection
Les entreprises de grands modèles s'impliquent de plus en plus dans les puces : Nvidia en danger ?
La guerre des puces se déroule encore entre les anciennes usines de puces.
Dédié à des analyses Web3 approfondiesRédaction : Mu Mu
La concurrence dans l'intelligence artificielle ne se limite pas à la course aux grands modèles entre OpenAI, Google et d'autres géants d'Internet. Le secteur des puces informatiques qui alimentent ces calculs est également en pleine effervescence, avec désormais les « usines à grands modèles » elles-mêmes qui entrent sur ce terrain.
OpenAI prévoit de commander des puces NPU plus efficaces auprès de Rain AI, une startup financée par le PDG Sam Altman ; Microsoft a lancé deux puces maison, Azure Maia 100 et Azure Cobalt 100 ; quant au nouveau modèle Gemini 1.0 récemment dévoilé par Google, il fonctionne sur ses propres puces TPUs v4 et v5e.
Jusqu'alors, l'empire des puces IA bâti par Nvidia constituait la principale source d'approvisionnement pour ces entreprises spécialisées dans les grands modèles. Aujourd'hui, celles-ci cherchent à assurer partiellement elles-mêmes leurs besoins. Mais c'est tout de même aux acteurs historiques du marché des puces qu'incombe officiellement le rôle de challenger Nvidia.
Advanced Micro Devices (AMD), le fabricant américain de semi-conducteurs, a lancé sa nouvelle puce IA MI300X, arrachant ainsi trois grands clients à Nvidia : Meta, Microsoft et OpenAI.
Le secteur des puces IA s'intensifie, mais défier Nvidia, assis sur son trône, reste une tâche ardue.
Les grands modèles produisent leurs propres puces
Depuis le début de l'année, les grands modèles d'IA et leurs applications prolifèrent. Les puces d'Nvidia telles que A100, A800, H100 ou H800, capables de former des grands modèles IA, ont été massivement achetées. Les acheteurs ne se limitent pas aux entreprises technologiques, mais incluent également des gouvernements et des sociétés de capital-risque.
Nvidia, le fournisseur clé, connaît un succès fulgurant. Ses puces IA sont en forte demande, provoquant une pénurie similaire à celle déjà observée précédemment sur le marché des GPU.
Dans son rapport financier 2023, Microsoft a exprimé à plusieurs reprises son inquiétude concernant l'obtention suffisante de GPU pour ses opérations cloud. De son côté, Sam Altman, PDG d'OpenAI, s'est plaint publiquement à plusieurs reprises de la pénurie de puces et de leurs coûts élevés. En mai dernier, il affirmait qu'OpenAI traversait une grave crise de capacité de calcul, affectant directement l'expérience utilisateur, avec des ralentissements fréquents et des délais de réponse importants sur ChatGPT.
Selon certaines estimations, le coût quotidien du fonctionnement de ChatGPT s'élèverait à 700 000 dollars. Selon Reuters, chaque requête sur ChatGPT coûte environ 4 cents. Si le volume de requêtes atteignait un dixième de celui des recherches Google, cela nécessiterait un investissement initial de quelque 48 milliards de dollars en GPU, et 16 milliards de dollars annuels rien que pour maintenir le système opérationnel.
Face à cette pénurie de puissance de calcul et à des coûts élevés, Peter Marrs, président d’Dell Asie-Pacifique et Japon, a prédit que les acheteurs ne toléreraient plus les longs délais de livraison des GPU d’Nvidia, créant ainsi des opportunités pour de nombreux concurrents.
Afin de réduire sa dépendance vis-à-vis des puces d’Nvidia, OpenAI envisage sérieusement de concevoir sa propre puce IA, afin de faire face à la pénurie mondiale de GPU et de réduire les coûts d’entraînement de GPT.
Il y a quelques jours, une lettre d’intention d’achat d’OpenAI a fuité, révélant qu’Altman, en tant que PDG, avait engagé l’entreprise à acheter des puces auprès de la startup Rain AI pour un montant total pouvant atteindre 51 millions de dollars. Altman détient lui-même un investissement dans cette société.
Notons que cette puce repose sur la technologie neuromorphique, une puce NPU « cérébrale » censée « imiter la structure et les fonctions du cerveau humain », capable de traiter en parallèle et de façon distribuée des informations. Elle convient particulièrement bien aux tâches de calcul intensif dans les applications d’IA, permettant un traitement efficace et économe en énergie. Toutefois, cette puce est encore en phase de développement.
OpenAI n’est pas seul sur ce front : Microsoft, Google et d’autres grandes entreprises technologiques développent activement des puces toujours plus performantes.
Le 16 novembre, lors de sa conférence annuelle Ignite destinée aux professionnels IT et développeurs, Microsoft a dévoilé deux puces maison : le processeur d’IA cloud Azure Maia 100 et le CPU serveur Azure Cobalt 100.
Le Maia 100 est conçu pour exécuter des charges de travail d’IA dans le cloud, tandis que le Cobalt 100 est destiné aux tâches générales. Les centres de données de Microsoft devraient intégrer dès le début 2024 à la fois des processeurs ARM et des accélérateurs IA spécialisés. Outre leur utilisation dans Bing et les produits Office AI, Microsoft précise que OpenAI teste également cette puce.
Microsoft développe Maia 100 pour usage interne et pour ses partenaires comme OpenAI
Google aussi passe à l'action. Son dernier grand modèle, Gemini 1.0, présenté comme surpassant GPT-4, fonctionne précisément sur ses puces maison TPUs v4 et v5e.
Google affirme que sur ses TPUs, Gemini tourne nettement plus vite que les anciens modèles plus petits et moins performants. Par ailleurs, Google a lancé Cloud TPU v5p, un système TPU destiné à soutenir l'entraînement des modèles IA de pointe, accélérant ainsi le développement de Gemini.
Des fabricants matériels comme Apple ou Huawei, de plus en plus de géants technologiques conçoivent désormais leurs propres puces afin de répondre à leurs besoins spécifiques et renforcer leur différenciation concurrentielle.
La défense et l'expansion de Nvidia
En entrant sur le marché des puces, les entreprises de grands modèles peuvent-elles vraiment se libérer complètement de leur dépendance à Nvidia ?
Malgré une hausse des prix des GPU H100 d’Nvidia, passés à deux fois leur valeur initiale, la demande dépasse largement l’offre. Même Google, qui utilise désormais ses propres puces, continue massivement d’acheter celles d’Nvidia.
Nvidia dispose de ses propres lignes de défense.
Selon le Financial Times britannique, depuis le début de l’année, Nvidia a investi dans plus d’une vingtaine de sociétés, allant de grandes plateformes IA valorisées plusieurs milliards de dollars jusqu’à de jeunes startups appliquant l’IA à des secteurs comme la santé ou l’énergie.
Bien qu’Nvidia affirme ne pas imposer de clauses particulières lors de ses investissements ni exiger l’utilisation exclusive de ses puces, ces partenariats renforcent indéniablement les liens.
Mohamed Siddeek, responsable du fonds de capital-risque NVentures chez Nvidia, déclare : « Pour Nvidia, le critère principal dans nos investissements en startups est la pertinence. » Il insiste : « Les entreprises qui utilisent notre technologie, dépendent de notre technologie, construisent leur activité sur notre technologie… Je ne peux pas imaginer une seule entreprise que nous ayons financée qui n’utilise pas les produits d’Nvidia. »
Selon Dealroom, société spécialisée dans le suivi des investissements en capital-risque, Nvidia a participé à 35 transactions en 2023, soit presque six fois plus qu’en 2022. C’est l’année la plus active jamais enregistrée par Nvidia dans le domaine de l’IA, dépassant même des fonds de premier plan comme Andreessen Horowitz ou Sequoia Capital.
Par ailleurs, la plateforme logicielle et matérielle CUDA constitue elle aussi une solide barrière à l’entrée pour Nvidia.
CUDA est une architecture de calcul parallèle développée par Nvidia. Sur des tâches identiques, les GPU Nvidia compatibles CUDA sont 10 à 100 fois plus rapides que les processeurs classiques. Grâce à CUDA, les GPU ont supplanté les CPU et sont devenus la base du calcul intensif pour les Big Data.
Pour les entreprises de grands modèles souhaitant concevoir leurs propres puces, les obstacles restent nombreux, notamment dus à la pénurie de matières premières.
Rob Enderle, analyste principal chez The Enderle Group, souligne : « Concevoir des puces n’est pas simple. Les usines de fabrication et les fonderies sont saturées, ce qui rend très probable un échec pour OpenAI. » Il ajoute : « Le mieux serait de collaborer avec AMD, Qualcomm, Nvidia ou Intel, qui disposent déjà de leurs propres chaînes de production. »
Sans oublier le facteur coût.
Todd R. Weiss, analyste senior chez Futurum Group, estime que l'idée de créer ses propres puces pour rompre la dépendance « semble cool à première vue ». Mais les coûts associés — conception, construction d'installations de fabrication, développement continu d'une feuille de route pour des puces toujours meilleures — ainsi que la gestion de la chaîne d'approvisionnement, rendent cette solution « pas plus simple que d'acheter des puces à des tiers ».
Le véritable champ de bataille des puces reste entre les fabricants eux-mêmes.
Le 6 décembre, AMD, principal rival d’Nvidia, a organisé un événement intitulé « Advancing AI », avec à ses côtés des cadres dirigeants de Microsoft, Meta et d'autres entreprises technologiques. Lors de cet événement, AMD a présenté sa nouvelle puce IA, la MI300X.
Comparée à la H100 HGX d’Nvidia, la carte accélératrice MI300X offre de meilleures performances en termes de débit et de latence lors de l’inférence de grands modèles linguistiques, et à un prix inférieur. Peu après, lors d’un événement pour les investisseurs d’AMD, Meta, Microsoft et OpenAI ont annoncé leur intention d’intégrer prochainement les dernières puces IA d’AMD.
La véritable voie vers la réduction des coûts passe par la concurrence entre fabricants de puces. Ce n’est que grâce à la course à la production entre géants comme AMD et Nvidia que les prix pourront baisser. Quant aux grands groupes spécialisés dans les modèles IA qui conçoivent leurs propres puces, ils ajoutent simplement une jambe supplémentaire à la course aux armements.
Bienvenue dans la communauté officielle TechFlow
Groupe Telegram :https://t.me/TechFlowDaily
Compte Twitter officiel :https://x.com/TechFlowPost
Compte Twitter anglais :https://x.com/BlockFlow_News
