Deux jeunes de 24 ans ayant abandonné leurs études veulent bouleverser NVIDIA : les puces d'inférence IA deviennent le prochain pari de mille milliards de dollars
TechFlow SélectionTechFlow Sélection
Deux jeunes de 24 ans ayant abandonné leurs études veulent bouleverser NVIDIA : les puces d'inférence IA deviennent le prochain pari de mille milliards de dollars
"Si vous croyez en l'avenir des agents IA, vous devez miser sur les puces d'inférence."
Dédié à des analyses Web3 approfondiesOrganisation & Compilation : TechFlow
Invités : EJ et Josh, animateurs du Limitless Podcast
Source du podcast : Limitless Podcast
Titre original : If You Believe in AI, You Have to Bet on This
Date de diffusion : 7 juillet 2026
Résumé des points clés
L'argument central de cet épisode du Limitless Podcast est direct : tout le monde surveille l'entraînement de l'IA, mais le vrai prochain pari asymétrique est les puces d'inférence IA. Les deux animateurs partent d'une startup appelée Etched, fondée par deux étudiants universitaires abandonnant leurs études à 24 ans, spécialisée dans les puces ASIC d'inférence pour l'architecture Transformer. Ils ont levé plus de 800 millions de dollars, signé plus de 1 milliard de dollars de contrats clients, et la liste des investisseurs comprend Peter Thiel, Jane Street, TSMC, ainsi que le fou de la longévité Brian Johnson.
Mais Etched n'est que la porte d'entrée. Ce dont l'émission discute vraiment, c'est de l'opportunité structurelle de toute la piste d'inférence : il y a plus de deux ans, l'inférence ne représentait qu'un tiers de la demande de puces, l'entraînement représentait les deux tiers. Maintenant, ce chiffre s'est inversé, l'inférence représente les deux tiers, l'entraînement un tiers, et d'ici la fin de l'année, cela pourrait pencher vers 80 % d'inférence. NVIDIA détient environ 75 % de la part de marché des puces, mais ses GPU ne sont pas optimisés pour l'inférence. C'est là que les startups ont une opportunité d'entrer.
L'approche d'Etched ne consiste pas à faire une meilleure puce, mais à reconcevoir tout le système de rack. Ils ont découvert que l'utilisation réelle des GPU NVIDIA sur les tâches d'inférence n'est que de 30-40 %, ils ont donc optimisé l'ensemble du système à un taux d'utilisation de 80-90 %, tout en réduisant la consommation d'énergie de 75 % en abaissant la tension. Le prix est le codage en dur : ils parient que l'architecture Transformer continuera à dominer, si l'architecture des modèles change à l'avenir, la puce sera inutile. Josh appelle cela un pari de vie ou de mort, EJ pense que ce pari est gagné depuis cinq ans.
La seconde moitié de l'émission discute de la manière de participer sur le marché public : Cerebras est déjà coté en bourse, MediaTek a augmenté de 180 % cette année, Broadcom conçoit des TPU pour Google, la puce Jalapeno d'OpenAI est sortie de fabrication (tape out) en neuf mois. Si les agents IA commencent à fonctionner de manière autonome pendant des heures voire des jours, la consommation de tokens augmentera de manière exponentielle, et les puces d'inférence sont la voie obligée.
Résumé des points de vue remarquables
Sur l'inférence vs l'entraînement
- "Tout le monde surveille encore l'entraînement, pensant que le GPU NVIDIA est la réponse ultime. Mais l'inférence est le vrai centre de profit. Anthropic devrait selon les rumeurs devenir rentable ce trimestre grâce à la marge bénéficiaire de l'inférence."
- "Il y a plus de deux ans, la demande d'inférence représentait environ un tiers, l'entraînement deux tiers. Maintenant, c'est exactement l'inverse, l'inférence représente deux tiers, l'entraînement un tiers, d'ici la fin de cette année, l'inférence pourrait se rapprocher de 80 %. NVIDIA détient 75 % de la part de marché, mais leurs puces ne sont en fait pas optimisées pour l'inférence. Cela montre qu'il n'y a rien d'autre disponible sur le marché."
- "Les entreprises chinoises n'ont pas de GPU NVIDIA, elles ont optimisé l'inférence pour atteindre 90 % du niveau des modèles de pointe américains. L'inférence n'a pas de fossé défensif, NVIDIA n'a pas de fossé défensif sur l'inférence."
Sur la percée technologique d'Etched
- "Ils ne font pas une meilleure puce. Ils font tout le système de rack, faisant passer l'utilisation de l'inférence de 30-40 % à 80-90 %. Vous achetez une machine entre 50 000 et 150 000 dollars, elle n'utilise que 30-40 % de sa capacité réelle, vous seriez très frustré."
- "La puissance est égale au carré de la tension. Ils ont réduit la tension de moitié, ce qui signifie une réduction de la consommation d'énergie de 75 %. Vous avez besoin de moins d'électricité pour atteindre la même sortie intelligente."
- "Ils font une analogie avec les ASIC de minage de Bitcoin. Les ASIC sont des ordinateurs dédiés à des problèmes mathématiques spécifiques, l'efficacité peut être supérieure de plusieurs ordres de grandeur."
Sur l'équipe et l'exécution
- "Ils travaillent en deux équipes à Bangalore et aux États-Unis, des quarts de 12 heures, vraiment 24 heures sur 24. Ils sont dans l'usine de TSMC, appellent au milieu de la nuit pour tester les puces, voir si les wafers s'allument en vert ou en rouge."
- "Google a aussi des TPU, Amazon a aussi des Trainium, mais ces gens ne dorment pas dans l'usine. La vie ou la mort d'Etched repose entièrement sur cette puce, si le TPU de Google perd, Google reste Google."
Sur le pari de l'architecture Transformer
- "Ils ont codé en dur tout le graphe de calcul dans le silicium. Si l'année prochaine Andrej Karpathy crée une nouvelle architecture qui n'est pas Transformer, la puce d'Etched sera inutile."
- "De GPT-2 à aujourd'hui, Transformer a dominé pendant cinq ans. OpenAI, Anthropic, Google, Meta l'utilisent tous. Aucune architecture de remplacement n'est visible à court terme."
Sur la puce Jalapeno d'OpenAI
- "OpenAI et Broadcom ensemble, ont sorti le Jalapeno en neuf mois. Il faut neuf mois pour faire un enfant, ils ont aussi fait un piment."
- "L'approche d'OpenAI est différente d'Etched. Ils n'ont pas codé en dur Transformer, mais ont profondément optimisé la puce et le système de rack pour GPT. Ils ont leurs propres modèles, savent quel prompt les utilisateurs enverront, donc peuvent optimiser tout le chemin d'inférence."
- "OpenAI avait aussi des transactions avec Cerebras auparavant. Cerebras vient d'être coté en bourse, le cours de l'action a chuté de 35,5 %, mais ce n'est pas un problème de secteur, c'est un problème de pricing."
Sur la logique d'investissement
- "Citation originale de Brian Johnson : Il y a quelques années, deux étudiants abandonnant leurs études m'ont dit qu'ils pouvaient accélérer la recherche sur la longévité en créant une puce IA plus rapide. C'est tout leur argument. Si votre puce crache des tokens plus vite, vous pouvez résoudre les problèmes de recherche plus vite."
- "Jane Street, Peter Thiel, le propre fonds de capital-risque de TSMC ont investi. TSMC investir en vous ne signifie pas seulement vous donner de l'argent, ils disent, nous voulons fabriquer vos puces."
- "C'est un pari asymétrique placé devant tout le monde. Tout le monde regarde les goulots d'étranglement de la mémoire, les pénuries d'électricité, mais a oublié que la vraie source de marge bénéficiaire après l'introduction en bourse des AI lab est l'inférence."
Sur Nvidia et l'intégration verticale
- "N'excluez pas NVIDIA. Ils ont acquis Groq, ont dépensé 20 milliards de dollars. Jensen sait très bien ce qui se passe. Les grandes entreprises sont difficiles à faire tourner, mais ils bougent."
- "Les puces série M d'Apple sont un modèle d'intégration verticale. Si vous pouvez connecter entièrement la puce, le logiciel et le modèle, l'efficacité de la ligne de produits changera complètement."
Qu'est-ce que l'inférence : de prefill à decode
EJ : Chez Limitless, nous cherchons toujours de l'alpha, des opportunités au coin de la rue. Ce week-end, tout le monde regarde les feux d'artifice, nous lisons une entreprise appelée Etched. Cette entreprise veut changer à jamais notre façon de voir l'inférence.
Commençons par les bases. Vous utilisez Claude ou ChatGPT, écrivez un prompt, appuyez sur entrée, la réponse sort. Mais que se passe-t-il en backend ? Votre prompt est envoyé au serveur, il y a un tas de puces IA sur le rack du serveur, généralement des GPU NVIDIA. Ce GPU fait d'abord une chose : lit tout votre prompt et le traite. Cela s'appelle prefill. Ensuite, il récupère tout le contexte de la conversation de la mémoire, y compris tous vos prompts précédents et les informations que vous lui avez données, puis commence à générer la réponse token par token. Cela s'appelle decode. C'est tout le processus d'inférence.
La plupart des gens surveillent encore l'entraînement, pensant que le GPU NVIDIA est la réponse ultime. Mais nous voyons une tendance émerger : Google construit ses propres accélérateurs, Amazon construit les siens, Cerebras vient d'être coté en bourse, Groq a été acquis par NVIDIA. Etched est la plus radicale parmi eux.
Josh : Il y a une différence clé entre l'entraînement et l'inférence. L'entraînement est un événement unique, prend généralement plusieurs mois. Quand vous entendez qu'une entreprise entraîne un nouveau modèle GPT ou Claude, c'est l'entraînement. L'inférence est complètement autre chose. Et il y a un chiffre intéressant : il y a plus de deux ans, la demande d'inférence représentait environ un tiers, l'entraînement deux tiers. Maintenant, c'est exactement l'inverse, l'inférence représente deux tiers, l'entraînement un tiers, d'ici la fin de cette année, l'inférence pourrait se rapprocher de 80 %.
Cela en dit long, car NVIDIA détient environ 75 % de la part de marché des puces, mais leurs GPU ne sont pas optimisés pour l'inférence. La part de marché de NVIDIA est en hausse, la demande d'inférence est aussi en hausse, mais les puces de NVIDIA ne sont pas bonnes pour ça. Cela ne peut prouver qu'une chose : il n'y a pas d'autres options disponibles sur le marché. Personne n'a vraiment compris comment fabriquer des puces d'inférence personnalisées à grande échelle. Donc tout le marché ne peut qu'acheter NVIDIA. Mais des entreprises comme Etched émergent, essayant de combler ce vide.
EJ : Vous pouvez même dire que les entreprises chinoises ont prouvé que cette voie est faisable. Ils n'ont pas de GPU NVIDIA, mais peuvent entraîner des modèles atteignant 90 % des capacités des modèles de pointe américains. Ils comptent sur une innovation extrême dans l'inférence. Donc l'inférence est le prochain vrai champ de bataille, et sur ce champ de bataille, NVIDIA n'a pas de fossé défensif.
Les deux fondateurs de 24 ans d'Etched
EJ : Etched a été fondée par deux jeunes de 24 ans. Ils ont commencé à faire cela il y a trois ans, le pari est de ne pas faire de GPU généraliste, mais de faire une puce ASIC complètement ciblée sur l'architecture Transformer. Maintenant, ils ont obtenu plus de 800 millions de dollars de financement, les contrats clients dépassent 1 milliard de dollars. Dans les tests précoces, leurs racks de serveurs ont déjà atteint des niveaux de pointe en latence, consommation d'énergie et workload d'inférence.
Vous pourriez penser : c'est une entreprise privée, comment puis-je investir ? En effet, on ne peut pas investir directement. Mais le marché public a des chemins pour profiter de l'exposition de ce secteur. Nous en parlerons plus tard. Parlons d'abord de pourquoi cette entreprise peut obtenir une évaluation si élevée sans avoir encore officiellement lancé le produit.
La réponse est simple : ils ne font pas une puce. Ils font tout le système de rack. C'est leur argument central. Ils ont observé comment l'inférence fonctionne réellement, ont vu les performances des GPU NVIDIA, ont découvert que l'utilisation réelle des GPU sur l'inférence n'est que de 30-40 %. Vous achetez une machine entre 50 000 et 150 000 dollars, elle n'utilise que 30 % de ses vraies capacités. Vous seriez très frustré. Donc ils ne conçoivent pas seulement une meilleure puce, mais ont conçu l'ensemble du système qui peut être placé dans le centre de données, portant l'utilisation de l'inférence à 80-90 %.
Ils ont principalement fait deux choses. Premièrement, ils ont trouvé un moyen d'atteindre la même sortie intelligente avec une tension plus basse. Autour de l'architecture Transformer, ils ont reconçu toute la puce. La puissance est égale au carré de la tension, ils ont réduit la tension de moitié, ce qui signifie une réduction de la consommation d'énergie de 75 %. Au niveau du centre de données, cela signifie que vous pouvez économiser des dizaines de millions de dollars de coûts d'électricité et de refroidissement.
Deuxièmement, parce que tout le système est conçu pour l'inférence et non l'entraînement, ils ont optimisé l'ensemble du processus de prefill et decode. Les GPU NVIDIA sont des appareils de calcul généralistes, peuvent faire l'entraînement, l'inférence, le rendu graphique. Etched ne fait qu'une chose, mais la fait à l'extrême.
Josh : Il y a une analogie particulièrement féroce ici. Ils prennent directement les ASIC de minage de Bitcoin comme inspiration. Les machines de minage de Bitcoin sont des ordinateurs dédiés conçus pour des problèmes mathématiques spécifiques, l'efficacité peut être supérieure de plusieurs ordres de grandeur. Ce que fait Etched est essentiellement cette logique : pour les problèmes mathématiques spécifiques de l'inférence Transformer, pousser la puce dédiée à l'extrême.
L'équipe qui dort dans l'usine de TSMC
EJ : Ce qui est impressionnant dans cette entreprise n'est pas seulement la technologie, mais aussi la méthode d'exécution. Ils collaborent déjà avec TSMC. Ils ont convaincu TSMC que leur technologie est assez bonne pour valoir le tape out. La moitié de l'équipe est à Bangalore, l'autre moitié aux États-Unis, deux équipes, 12 heures chacun par jour, vraiment 24 heures sans arrêt. Ils ont obtenu l'opportunité de tester les puces chez TSMC. Ils appellent l'usine au milieu de la nuit, pour voir si les puces sur les wafers s'allument en vert ou en rouge. Ce travail est si difficile qu'il fait démissionner les gens.
Ce point est intéressant à comparer avec Google et Amazon. Google a des TPU, Amazon a des Trainium, mais ces grandes entreprises ne font pas dormir les employés dans l'usine. Pour eux, si le projet de puce perd, l'entreprise continue de fonctionner normalement. Etched est différent, sa vie ou sa mort repose entièrement sur cette puce. Donc quand ils recrutent, ils recrutent des gens qui sont excités parce que le succès ou l'échec de l'entreprise repose sur la puce.
Josh : C'est aussi pourquoi ils ont pu atteindre ce niveau en trois ans. Le processus normal prend un an et demi à deux ans, ils l'ont compressé.
Sur quoi parient les gens dans la liste des investisseurs
EJ : Regardez leur liste d'investisseurs, vous comprendrez quel problème ces gens résolvent. Brian Johnson, celui qui est obsédé par la longévité, mesure cent indicateurs par jour, pourquoi est-il dans la cap table ? Brian Johnson a lui-même posté un tweet : "Il y a quelques années, deux étudiants abandonnant leurs études m'ont dit qu'ils pouvaient accélérer la recherche sur la longévité en créant une puce IA plus rapide." C'est toute sa logique. Si votre puce peut cracher des tokens plus vite, vous pouvez résoudre les problèmes de recherche plus vite. Trouver des médicaments, le repliement des protéines, les mécanismes des maladies — tout cela nécessite une inférence IA. Qui est plus rapide, qui gagne.
Jane Street est aussi là, l'un des meilleurs fonds de couverture quantitatifs au monde. Peter Thiel. TSMC a aussi investi via son propre fonds de capital-risque. TSMC investir en vous ne signifie pas seulement donner de l'argent, ils disent aussi : "Nous voulons fabriquer vos puces." Ce signal est très fort.
Josh : Longévité, finance, fabrication de semi-conducteurs, des gens de ces domaines complètement non liés mettent de l'argent dans la même entreprise, cela montre qu'ils ne voient pas une petite opportunité, mais que l'amélioration de l'efficacité de calcul de base changera toutes les industries dépendant de l'IA.
Le pari de vie ou de mort de l'architecture Transformer
Josh : Mais il y a une condition limite que je n'avais pas完全 conscience auparavant. Ils ont fait un pari très spécifique, parié sur l'architecture Transformer. De GPT-2 à aujourd'hui, tous les modèles de pointe fonctionnent sur Transformer. Son mécanisme central est la prédiction du prochain token, apprentissage récursif via l'espace latent. Mais la puce d'Etched est codée en dur pour cette architecture. Si l'architecture change, par exemple si quelqu'un crée quelque chose de mieux que Transformer, ces puces auront besoin de reconstruire une grande partie de la stack technique. Est-ce un risque de vie ou de mort, ou un pari acceptable ?
EJ : Vous avez tout à fait raison. Ils ont codé en dur le graphe de calcul dans le silicium. Si l'année prochaine Andrej Karpathy publie une nouvelle architecture, pas Transformer, la puce d'Etched sera inutile. Mais l'avantage est aussi évident : si vous pariez correctement, l'amélioration de l'efficacité peut être de 10 à 50 fois. De GPT-2 à maintenant, Transformer a dominé pendant cinq ans. OpenAI, Anthropic, Google, Meta l'utilisent tous. Aucune architecture de remplacement n'est visible à court terme. Donc ce pari est bien qu'extrême, n'est pas fou en termes de probabilité.
EJ : Comparez encore avec la puce Jalapeno d'OpenAI. OpenAI n'a pas codé en dur Transformer, mais a profondément optimisé la puce et le système de rack pour GPT. Pourquoi peuvent-ils faire cela ? Parce qu'ils ont leurs propres modèles. Ils savent quel prompt les utilisateurs enverront, savent comment charger les tokens. Ils ont intégré verticalement la puce, le modèle et la distribution. C'est en fait plus sûr que la route purement tierce d'Etched. Si Etched veut atteindre le même niveau d'optimisation, soit être acquis par un Frontier lab, soit servir plusieurs clients, mais ne peut pas faire d'optimisation extrême pour un seul modèle.
Josh : Et OpenAI et Broadcom ensemble, ont sorti le Jalapeno en neuf mois. Neuf mois, exactement pour faire un enfant. Ils ont fait un piment.
EJ : OpenAI ne joue pas à ça pour la première fois. Ils avaient aussi des transactions avec Cerebras auparavant. Cerebras vient d'être coté en bourse, le cours de l'action a chuté de 35,5 %, performance pas bonne cette année. Mais ce n'est pas un problème de secteur, c'est un problème de pricing. Beaucoup de gens sur le marché pensent que Cerebras a été tué à tort.
L'inférence est le nouveau fossé défensif
EJ : La raison pour laquelle nous faisons cet épisode est que beaucoup de gens ne réalisent pas : l'inférence est devenue le nouveau fossé défensif pour entraîner de meilleurs modèles, et aussi le nouveau fossé défensif pour envoyer des tokens à un grand nombre d'utilisateurs.
La plupart des gens sont encore au stade "vous utilisez LLM comme Google". Moins de 1 % des personnes sur Terre ont vraiment fait tourner un agent autonome pendant plus d'une heure. Mais la tendance est claire : vous aurez bientôt beaucoup de modèles IA travaillant de manière autonome pour vous pendant des heures voire des jours. Cela brûlera des tonnes de tokens. Vous voulez qu'ils crachent autant de tokens que possible par unité de temps, parce que vous pouvez obtenir des réponses plus vite, finir le travail plus vite, battre les concurrents plus vite.
Pour réaliser cela, vous avez besoin d'une architecture de puce complètement différente. Et NVIDIA, le grand frère de toutes les entreprises d'architecture GPU, n'a pas encore résolu le problème de l'efficacité d'inférence.
Anthropic devrait selon les rumeurs devenir rentable ce trimestre grâce à la marge bénéficiaire de l'inférence. Tout le monde surveille les coûts d'entraînement, mais le centre de profit des AI lab après l'introduction en bourse est l'inférence. L'entraînement est un investissement préalable, l'inférence est un flux de trésorerie continu.
Le chemin du marché public
EJ : Vous pourriez dire, Etched est une entreprise privée, je ne peux pas investir. Mais le marché public a des chemins. Cerebras est déjà coté en bourse. MediaTek aide à concevoir ces puces dédiées, a augmenté de 180 % cette année. Broadcom conçoit des TPU pour Google, a augmenté d'environ 10 % aujourd'hui. Groq a été acquis par NVIDIA, le prix serait de 20 milliards de dollars. NVIDIA n'a pas ignoré cette tendance, ils sont juste en train de faire demi-tour.
Josh : Si les puces série M d'Apple sont un modèle, vous savez que l'intégration verticale peut refaire toute une ligne de produits. Maintenant OpenAI fait Jalapeno, Google fait TPU, Amazon fait Trainium, tout le monde fait ASIC. Cette tendance ne fait que commencer.
EJ : C'est un pari asymétrique placé devant tout le monde. Tout le monde regarde les goulots d'étranglement de la mémoire, très important. Tout le monde regarde les pénuries d'électricité, très important aussi. Mais beaucoup de gens ont oublié, quand ces AI lab seront cotées en bourse, la vraie source de marge bénéficiaire est l'inférence. Si vous croyez aux agents, croyez au futur du travail autonome, vous devez parier sur les puces d'inférence. Ce n'est pas une option.
Bienvenue dans la communauté officielle TechFlow
Groupe Telegram :https://t.me/TechFlowDaily
Compte Twitter officiel :https://x.com/TechFlowPost
Compte Twitter anglais :https://x.com/BlockFlow_News
深潮TechFlow
