Après une chute brutale de 40 % des actions de semi-conducteurs, réexaminer les fondamentaux de la demande en puissance de calcul

Auteur : Kerman Kohli

Traduction : TechFlow

Note de la rédaction TechFlow : Après un effondrement des actions des semi-conducteurs de 30-40%, beaucoup annoncent l'éclatement de la bulle de l'IA. Mais ce jugement repose sur une hypothèse fatale : la demande de puissance de calcul est limitée. Des gouvernements militaires à la recherche scientifique, en passant par les produits d'entreprise et les applications personnelles, tous les groupes se disputent la puissance de calcul, et chaque groupe a un plafond de prix différent qu'il est prêt à payer. Plus crucial encore, l'IA a une caractéristique qu'aucune autre infrastructure n'a : la demande récursive : la puissance de calcul elle-même engendre plus de demande de puissance de calcul. Lorsque le carnet de commandes de puissance de calcul des fournisseurs de cloud à hyperscale passe de 500 milliards de dollars à 2 billions de dollars, affirmer qu'il s'agit d'une bulle nécessite des preuves plus solides.

Question centrale : demande infinie ou demande limitée

Au moment de la publication de cet article, les actions des semi-conducteurs et d'autres actions liées à l'IA/au momentum ont chuté de 30-40% par rapport à leurs plus hauts historiques.

Beaucoup sont prêts à appeler cela le sommet des semi-conducteurs/IA/mémoire et à célébrer la victoire pour ne pas avoir participé.

Ils célèbrent probablement trop tôt.

À mon avis, la thèse d'investissement sur les semi-conducteurs/IA se résume à cette question :

« Pensez-vous que la demande de puissance de calcul est limitée ou infinie ? »

Dans les discussions, je vois trop de personnes enfermées dans leur expérience locale de l'utilisation/adoption par les entreprises et l'étendant à un marché plus large. Je pense que l'argument selon lequel l'adoption par les entreprises nécessite plus de temps peut effectivement être valable.

Cependant, cela crée également une incitation inverse pour que des entreprises plus petites et plus natives de l'IA les battent avec moins d'employés, car l'IA, si elle est bien utilisée, peut coûter beaucoup moins cher que l'expansion de la main-d'œuvre.

Quoi qu'il en soit, élargissons notre perspective et arrêtons de considérer les dépenses d'investissement en IA simplement comme une demande des entreprises. À un haut niveau, la construction de l'IA consiste à mettre en ligne de la puissance de calcul.

La puissance de calcul peut et sera utilisée par les groupes suivants :

• les gouvernements pour des objectifs militaires et de défense
• les scientifiques pour la médecine et d'autres recherches de pointe
• les entreprises pour construire de nouveaux produits et s'étendre sans limites de main-d'œuvre
• les particuliers pour être habilités à faire plus de choses (programmation, conception, création, questionnement)

Ces cas d'usage et acheteurs sont chacun prêts à payer un prix différent pour la puissance de calcul. Bien que certains puissent se retirer en raison du prix de la puissance de calcul, il est peu judicieux de penser que personne d'autre n'aura un budget plus élevé. Pour certains, les dépenses de puissance de calcul ne sont pas négociables, car c'est une course impitoyable. Les exemples incluent les gouvernements souverains et les hyperscalers. Pour d'autres, la puissance de calcul est un substitut au coût de la main-d'œuvre et reste beaucoup moins chère (pas de frais juridiques, de temps de gestion, etc.).

Croire que nous « surconstruisons » ou « construisons au-delà de la capacité » signifie que l'un des groupes ci-dessus a atteint un état final et est satisfait du statu quo. En termes simples, cela croit :

• les gouvernements pensent qu'ils n'ont pas besoin d'armes et de capacités de défense plus intelligentes
• les scientifiques sont satisfaits de la quantité de recherche achevée
• les entreprises pensent qu'elles ont fait suffisamment de travail sur leurs gammes de produits et ne veulent plus croître
• les particuliers ont atteint l'état final de la curiosité et ne veulent pas en faire plus

Si vous croyez vraiment à l'un des points ci-dessus, alors vous avez raison de dire que l'IA est une bulle et qu'il y aura un surinvestissement.

Chaque groupe est prêt/peut payer un prix différent pour la puissance de calcul, mais le marché s'organisera autour de la demande pour garantir que la qualité/prix puisse être satisfaite. Penser que l'intelligence est trop chère pour tous les groupes est une erreur, car ceux qui peuvent orchestrer l'intelligence de manière rentable continueront à stimuler la demande pour celle-ci.

Mais, si vous croyez que l'humanité et les groupes ci-dessus ne seront jamais satisfaits, alors vous devez croire que la demande de puissance de calcul est infinie. Nous sommes actuellement dans une grande course autour de la puissance de calcul, et peu de gens en sont conscients.

Question suivante : quel est le retour sur investissement

Après avoir passé plus de temps sur le marché, c'est la plus grande préoccupation continue des investisseurs concernant la construction de puissance de calcul. La tendance des hyperscalers à dépenser tout leur flux de trésorerie disponible est-elle excessive, parient-ils leur avenir ?

Outre les dépenses d'investissement des hyperscalers, les gens sont très préoccupés par les revenus et les bénéfices obtenus par les grands laboratoires ? De nouveaux modèles open source menacent la valeur extractible des laboratoires à partir des modèles de pointe, ce qui complique encore la situation.

Je prendrai le temps de discuter de chaque point, mais commençons par les dépenses d'investissement des hyperscalers.

Pour ceux qui pensent que les hyperscalers ont mal fait leurs comptes, je dois que vous compreniez que c'est loin d'être le cas : les services de cloud public sont scandaleusement chers, ils savent comment vous extorquer chaque centime. Ils ont convaincu toute une génération d'entreprises qu'elles ne pouvaient pas s'étendre sans eux.

En retour, ils ont majoré le coût de la puissance de calcul normale non CPU de 10-20 fois. De plus, vous devez payer pour les journaux, le transfert de données (sortie) et 5 autres services pour effectuer un travail de base.

Ce jeu fonctionne parce qu'ils vous ont enfermé dans leur système. La bande passante dans le royaume GCP/AWS est bon marché, une fois que vous vous déplacez vers l'extérieur, elle augmente considérablement. Pour de nombreux hyperscalers, ils doivent garder les clients dans leur écosystème, sinon ils risquent de perdre des affaires. Ne pas avoir assez de puissance de calcul est fatal pour leur survie. Lorsque les données et la puissance de calcul de vos clients sont chez vous, dire que vos GPU sont épuisés est totalement inacceptable, cela les forcera à se tourner lentement vers vos concurrents. Les hyperscalers ont créé une dynamique intéressante, ils peuvent forcer les clients à payer n'importe quel prix qu'ils veulent, et les clients ne peuvent rien y faire. Leurs locataires sont si déconnectés du bare metal, avec un énorme effet de verrouillage, rendant le transfert un effort de plusieurs années (si possible).

Prenons un exemple simple pour illustrer à quel point ils sont fous à cet égard. J'ai écrit il y a quelques mois comment j'ai construit cette machine de 15 000 dollars :

Construction d'une machine d'inférence IA

Figure : Machine d'inférence IA construite par l'auteur. Source : Kerman Kohli / Substack

Vous pouvez trouver le même GPU, une machine avec une configuration plus faible sur GCP :

https://cloud.google.com/products/compute/pricing/accelerator-optimized

Le coût à la demande est d'environ 3 248 dollars par mois, 1 444 dollars par mois pour une réservation de 3 ans.

Figure : Exemple de tarification des instances GPU Google Cloud. Source : Google Cloud

Ma machine n'a que 128GB de DDR5, mais Google Cloud a 180GB d'une sorte de mémoire (ils ne disent pas si c'est de la DDR4 ou de la DDR5 haha).

Calcul rapide :

• Au prix à la demande, ma machine sera rentable en 4,6 mois
• La période de retour sur investissement pour l'engagement de trois ans est de 10 mois

Les mathématiques pour d'autres machines sont similaires. Le cluster H200 (GPU publié fin 2024) sera rentable en moins de 2 ans. Où que vous regardiez, vous voyez des mathématiques très similaires. Bien sûr, cela ne prend pas en compte : le coût du terrain, l'électricité continue, les coûts de financement et le personnel sur site, mais cela devrait servir d'exemple illustratif montrant comment les hyperscalers savent tarifier avec une prime énorme. Bien sûr, le prix au comptant diffère à nouveau du prix engagé.

Ce qui rend ces mathématiques encore plus folles, c'est que les GPU d'il y a 5 ans : a) conservent leur valeur b) les coûts de location augmentent !

Il est fort probable que le matériel ne se déprécie pas, mais commence à s'apprécier à partir de maintenant. Bien que de nouvelles puces avec une efficacité de calcul plus élevée aient été lancées, l'efficacité qui leur manque sera compensée par la hausse des coûts de la mémoire.

Je conceptualise le matériel comme un jeu à deux composants, où un composant (le calcul) devient techniquement moins valuable, mais est compensé par un autre composant (la mémoire), qui devient plus valuable avec le temps.

Si c'est le cas, leur retour sur investissement des dépenses d'investissement est plus élevé que ce que quiconque aurait pu prévoir à distance. Concernant le risque de crédit des hyperscalers, ce tweet de Gavin Baker le résume bien :

Figure : Image accompagnant le tweet de Gavin Baker. Source : X / @GavinSBaker

Maintenant, vous pourriez dire, comment savons-nous que cette demande est suffisante ? Je veux dire que je ne peux pas modéliser chaque scénario pour chaque client, mais à un certain point, vous devez avoir l'humilité de dire que les gens qui font la queue pour payer sont le signal le plus fort, vous croyez qu'ils sont des acteurs rationnels dépensant sur des efforts à ROI positif.

Si nous regardons sous cet angle, le carnet de commandes est passé de 500 milliards de dollars début 2025 à bien plus de 2 billions de dollars en seulement 1,5 an. Lorsque cela est motivé par les clients, affirmer que tout cela est faux/n'est pas à ROI positif devient tiré par les cheveux. Maintenant, l'objection est que les laboratoires représentent une grande partie de cela, mais ce point de vue est erroné. Selon EpochAI, les laboratoires de pointe représentent une partie, mais pas la totalité de la demande mondiale de puissance de calcul.

Figure : Le carnet de commandes de puissance de calcul passe de 500 milliards de dollars à 2 billions de dollars. Source : EpochAI

Figure : Composition de la demande mondiale de puissance de calcul. Source : EpochAI

Quoi que vous croyiez, le fait d'un carnet de commandes de 2 billions de dollars devrait indiquer quelque chose. Penser que des dépenses de billions ne reflètent pas un changement structurel mais une bulle excessive est un point de vue intéressant.

De nombreux investisseurs aiment raisonner par analogie, en la comparant à la construction d'Internet, des chemins de fer ou des projets d'infrastructure passés. Je comprends la logique ici, mais cela ignore une caractéristique clé de l'IA : la demande récursive.

Pour les chemins de fer ou Internet, vous avez besoin que plus de personnes adoptent la technologie, puis assurez-vous que tout le monde utilise la technologie au maximum, pour garantir une diffusion suffisante dans l'économie. L'IA n'a pas ces dynamiques. Dans cette course, la puissance de calcul peut générer sa propre demande de puissance de calcul, la limite de puissance de calcul d'un individu ou d'une organisation est en fait infinie. Si vous trouvez un cas d'usage utile et à ROI positif, vous pouvez continuer à investir dans la puissance de calcul, et cela deviendra une machine à gagner de l'argent.

Ce qui devient très délicat, c'est que différentes personnes ont des expériences très différentes avec l'IA. La plupart des gens dans le monde l'utilisent comme une machine de questions-réponses à invite unique. Pour des gens comme moi, à mesure que l'ingénierie des agents devient plus capable, ils deviennent indispensables, me permettant de faire plus de choses.

Mes dépenses de puissance de calcul continuent d'augmenter et continueront d'augmenter, car je découvre plus de cas d'usage à ROI positif. Quel que soit le revenu généré par l'IA, les économies de coûts qu'elle crée sont indéniables, ce qui motive la plupart des cas clients finaux.

Facteurs d'incertitude : OpenAI / Anthropic

En poursuivant sur ce point, nous pouvons voir que le carnet de commandes est fou. Mais dans quelle mesure la demande des laboratoires (une partie considérable de la demande de puissance de calcul) est-elle réelle. C'est ici que je pense que la réponse est moins claire mais toujours raisonnable. Je veux décomposer cette réponse en inférence et entraînement.

Si nous pensons qu'un nouveau modèle SOTA (état de l'art) coûte jusqu'à des centaines de millions de dollars, alors nous pouvons dire qu'il s'agit d'un actif d'investissement, générant une certaine valeur de cycle de vie utile au fil du temps via l'inférence (bien qu'avec une courbe de dépréciation abrupte).

En réaction, vous aurez des modèles open source se diffusant sur le marché et rivalisant avec les laboratoires de pointe pour la puissance de calcul à un coût moins cher. Ces modèles open source peuvent être distillés ou non, ce n'est pas important pour comprendre la dynamique.

Donc, la dynamique que nous devons remettre en question est ce qui se passe lorsqu'un modèle SOTA sort ? La réalité n'est pas que tout le monde les utilisera toujours pour résoudre chaque problème. Cependant, étant donné qu'ils ont des capacités SOTA, ils peuvent résoudre des problèmes que la classe de modèles actuelle ne peut pas résoudre, vous êtes prêt à payer une prime pour cela.

Vous pourriez dire que des modèles comme Kimi K3 changent cette dynamique car ils sont open source, mais les gens oublient un fait important : les modèles SOTA sont très grands, le matériel nécessaire pour les exécuter est bien au-delà de ce que n'importe quel modèle domestique peut faire. Kimi K3 lui-même nécessite près de 1,5TB - 2TB de mémoire. Bonne chance pour en trouver.

Ce qui rend les modèles plus intéressants, c'est que Kimi a épuisé la capacité dès l'ouverture des vannes vers K3. Bien sûr, il existe un modèle là-bas, mais il faut toujours que quelqu'un le fournisse. Il doit toujours fonctionner sur du matériel capable. Les laboratoires seront effectivement forcés de devenir plus compétitifs avec le temps, mais cela ne menace pas leur activité, car finalement la prime pour certaines charges de travail continuera d'exister. De plus, la capacité de fournir ce modèle pour votre charge de travail est tout aussi importante. Penser que les modèles de pointe ne valent aucune prime est malhonnête. La taille de cette prime reste à voir.

Si les modèles open source sont interdits ou illégaux, alors les laboratoires gagneront grandement au prix de l'innovation.

L'inférence s'est avérée rentable, avec des marges de fournisseurs de services basées sur 50% - 70%. Même si les gens quittent les fournisseurs d'hébergement, cette demande doit aller vers l'achat de leur propre matériel. Étant donné que l'inférence est la charge de travail dominante, la demande dépasse largement l'offre.

Pour l'instant, en ce qui concerne nos grands laboratoires, comment se portent-ils dans ce monde ? Je pense que la réponse est probablement correcte, mais les marges pourraient ne pas être aussi élevées.

Penser qu'ils échoueront et tomberont est une erreur. Bien que je voudrais donner un point de vue étayé par plus de données, nous n'avons pas de données claires sur leurs marges spécifiques ; cependant, il est raisonnable de supposer que leurs capacités d'optimisation des services d'inférence ont atteint la norme de l'industrie. De plus, les entreprises qui ont des dizaines de millions voire des centaines de millions d'utilisateurs actifs mensuels ne sont pas des projets Ponzi ou des fraudes nus, et leurs revenus sont en croissance rapide.

Figure : Paysage concurrentiel des grands laboratoires et des modèles open source

Retour sur investissement des modèles de laboratoire

Les laboratoires peuvent encore ne pas générer de rendements considérables sur les modèles SOTA, mais cela ne signifie pas que le marché ne récompensera pas les nouveaux modèles avec des capacités plus fortes, ni qu'il n'est pas prêt à payer cette prime. Considérant que les modèles de pointe représentent la prochaine classe de problèmes que l'IA peut résoudre, parier contre la pointe ne semble pas être une bonne idée. Le coût de sortie de cette course est de rattraper plus tard (sauf par distillation).

Quelle que soit la course SOTA, l'inférence nécessite toujours du matériel, et la demande infinie d'inférence doit toujours être satisfaite par le matériel de quelqu'un.

Complexité du trading IA

Le trading IA est probablement le trading le plus intéressant du marché actuel, car il possède simultanément trois caractéristiques :

• Ignoré
• Trop encombré
• Gravement mal compris

De nombreux participants au marché (y compris les grands investisseurs institutionnels) ne peuvent pas comprendre la complexité de la technologie et son impact sur la ligne de fond du bilan. Des titres simplifiés comme Kimi K3 ont conduit à des ventes massives d'actions de mémoire, bien que K3 soit l'un des modèles les plus intensifs en mémoire que vous puissiez exécuter.

Ces prix des actions ont augmenté, mais ils se négocient avec des ratios cours/bénéfice à terme à un seul chiffre, le marché s'attendant à ce que leurs bénéfices et leur demande s'effondrent en 2028/2029.

Une nouvelle économie à demande infinie

D'un point de vue rationaliste, dire qu'il existe un tel nouveau bien économique à demande infinie semble fou. L'économie traditionnelle soutient que si la demande augmente, l'offre suivra pour satisfaire la demande. Mais compte tenu des intrants homogènes (électricité, puces, terrain) produisant des résultats incertains (intelligence), nous ne serons jamais satisfaits de la puissance de calcul existante.

Un monde de demande infinie de puissance de calcul signifie que nous entrons dans un monde entièrement nouveau.

De nombreuses prévisions de puissance de calcul ne prennent pas non plus en compte l'essor des robots au cours des cinq prochaines années. Parier à la baisse sur la puissance de calcul, c'est parier à la baisse sur les robots. Alors que la population mondiale diminue, notre modèle économique actuel selon lequel plus de personnes deviennent plus productives n'est plus valable (surtout que la durée d'attention de nombreuses personnes devient de plus en plus courte). Sans intelligence artificielle et robots, l'économie n'a pas de voie pour la croissance et la création de plus de valeur économique.

Sans IA, nous finirons par ralentir le progrès humain. Pour qu'une civilisation atteigne ce stade, nous devons mettre en ligne plus de puissance de calcul. La capacité de mise en ligne de la puissance de calcul en Amérique du Nord a essentiellement atteint sa limite. Le Canada et l'Australie sont les suivants. Nous construirons des centres de données dans le monde entier jusqu'à ce que l'espace soit épuisé, puis nous nous tournerons vers l'espace pour construire plus de centres de données.

Tarification asymétrique de l'offre et de la demande

Ce qui est encore plus fascinant, c'est que l'offre est mesurée avec précision, car elle est connue grâce aux calendriers des fonderies dans les conférences téléphoniques sur les résultats, et la tarification est parfaite (toute l'offre arrivera selon un calendrier exact, sans retard). Alors que le côté demande est mesuré en temps réel et sous-estimé. Cela crée une situation où le marché croit à la limite de l'offre, tout en sous-estimant la situation de la demande (la sous-estimation est importante, alors qu'il existe aujourd'hui des données réelles et crédibles).

Chaque fois que vous essayez de raisonner sur le trading IA, vous devez vous demander si vous croyez que la demande de puissance de calcul est limitée ou infinie. La réponse à cette question guidera vos décisions ultérieures.

La puissance de calcul n'est pas une marchandise ordinaire. C'est à la fois un substitut à la main-d'œuvre, une nécessité pour la sécurité nationale et un moyen de production récursif auto-proliférant. Croire que la demande est limitée, c'est croire que l'humanité est satisfaite ; croire que la demande est infinie, c'est signifie que nous nous tenons au début d'un changement de paradigme économique.