GTC entretien avec Huang Renxun : ma vision du GPU est très différente des autres
TechFlow SélectionTechFlow Sélection
GTC entretien avec Huang Renxun : ma vision du GPU est très différente des autres
"NVIDIA ne fabrique pas de puces, NVIDIA construit des centres de données."
Dédié à des analyses Web3 approfondiesRédaction : Wan Chen
Édition : Jingyu
Source : GeekPark
L'atmosphère est soudain devenue sérieuse.
« Certains médias disent que vous êtes soit le Léonard de Vinci de l’ère de l’IA, soit son Oppenheimer. Qu’en pensez-vous ? »
« Oppenheimer a fabriqué la bombe atomique. Nous (Nvidia), nous ne faisons pas ça. » Face à cette question quelque peu taquine, Jensen Huang, fondateur et PDG de Nvidia, répond avec gravité après un bref moment d'hésitation.
Le 19 mars, local time, un jour après avoir donné une conférence inaugurale au GTC 2024 accueillie comme celle d’une star pop, Huang a accordé un entretien aux médias internationaux.
Jensen Huang explique à nouveau aux journalistes présents les points clés de sa « performance » | Crédit photo : GeekPark
Qu’il s’agisse de grandes questions telles que « quand arrivera l’AGI ? » ou « comment Nvidia perçoit-il le marché chinois », ou encore des applications concrètes du nouveau logiciel NIM, ce dirigeant à la tête de la troisième entreprise mondiale par capitalisation boursière décompose chaque sujet, l’abstrait en niveaux plus accessibles, et y répond par de simples métaphores. Bien qu’on puisse y voir une certaine souplesse diplomatique, on ne peut guère douter de sa sincérité.
À cette nouvelle cote record de deux mille milliards de dollars, Huang affirme que le marché des puces GPU n’est pas l’objectif de Nvidia — « Nvidia ne fabrique pas de puces, Nvidia construit des centres de données ». Pour cela, Nvidia met en place l’ensemble complet : matériel, logiciels, services, permettant aux clients de décider librement comment acheter leur centre de données.
Durant la keynote du GTC 2024, Huang a présenté cinq points clés : dans le cadre de la nouvelle révolution industrielle (calcul accéléré et IA générative), les nouvelles infrastructures de Nvidia comprennent : la plateforme Blackwell ; les NIMS ; NEMO et NVIDIA AI Foundry ; Omniverse et les robots ISAAC. | Crédit photo : Nvidia
01. Stratégie pour le marché chinois concernant les nouveaux produits du GTC
Question : Combien de vos nouveaux réseaux et technologies prévoyez-vous vendre en Chine ? Pouvez-vous divulguer des informations sur des références spécifiques au marché chinois ? Avez-vous apporté des adaptations ou changements particuliers pour ce marché ?
Jensen Huang : Je ne vous ai pas encore annoncé cela, vous êtes bien gourmand (rire). C’est toute la réponse. Actuellement, pour la Chine, nous disposons des puces L20 et H20 conformes aux exigences d’exportation. Nous faisons tout notre possible pour organiser et mobiliser les ressources destinées au marché chinois.
02. Objectifs d’AI Foundry
Question : Vous avez mentionné pendant votre présentation qu’AI Foundry était déjà utilisé par plusieurs entreprises. Quelle est la stratégie globale et l’objectif à long terme de ce programme ?
Jensen Huang : L’objectif d’AI Foundry est de construire des logiciels. Il ne s’agit pas simplement de logiciels en tant qu’outils, car tout le monde dispose de tels logiciels. Deux logiciels très importants ont été créés il y a longtemps : l’un s’appelle Office, qui a transformé les logiciels en logiciels en temps réel (Real-Time Software).
Un autre logiciel fondamental s’appelle cuDNN (CUDA Deep Neural Network Library). Nous avons désormais différentes bibliothèques d’IA. La bibliothèque du futur sera un microservice, car elle ne se contentera plus de décrire uniquement des mathématiques, mais aussi l’IA. À l’avenir, toutes ces bibliothèques deviendront des NIMs (microservices).
Ces NIMs sont des logiciels extrêmement complexes. Tout ce que vous aurez à faire, c’est de venir sur notre site web. Vous pourrez choisir de les utiliser directement, les télécharger, les exécuter sur un autre cloud ou sur votre ordinateur local. Ce service rendra leurs exécutions très efficaces, que ce soit sur votre poste de travail ou dans votre centre de données. C’est donc une nouvelle manière d’utiliser les environnements informatiques. Actuellement, lorsque les entreprises utilisent ces bibliothèques, nous proposons un système de licence logicielle, disponible à un tarif de 4500 dollars par GPU et par an.
03. Tarification de Blackwell
Question : Vous avez précédemment indiqué que le prix de la dernière génération de puce IA Blackwell serait compris entre 30 000 et 40 000 dollars. Avez-vous des précisions supplémentaires ?
Jensen Huang : C’est difficile à dire. J’essayais simplement de donner une idée approximative du prix de nos produits, sans vouloir fournir de cotation exacte.
La tarification des systèmes Blackwell varie fortement, car chaque configuration demandée est différente. En effet, un système Blackwell inclut généralement NV-Link, en plus de la puce elle-même, ce qui rend chaque système unique. Comme d’habitude, la gamme de prix dépend du coût total de possession (TCO).
Nvidia ne fabrique pas de puces, Nvidia construit des centres de données. Pour cela, nous mettons en œuvre toutes les tâches nécessaires, intégrons tous les logiciels, et optimisons l’ensemble afin que les systèmes de centres de données fonctionnent au mieux. Puis vient la partie folle : nous regroupons ces centres de données en modules plus petits, permettant aux clients de les adapter selon leurs besoins spécifiques, y compris réseau, stockage, plan de contrôle, sécurité et modules de gestion. Nous trouvons ainsi le moyen d’intégrer ces centres de données dans les systèmes clients. Finalement, c’est le client qui décide comment l’acheter. Contrairement à la vente traditionnelle de puces, la tarification de Blackwell ne concerne pas seulement la puce. Notre modèle économique reflète parfaitement cela.
L’opportunité pour Nvidia ne réside pas dans la puce GPU, mais dans les centres de données, qui évoluent rapidement vers l’accélération. Ce marché représente actuellement 250 milliards de dollars par an, croissant de 20 % à 25 % annuellement, principalement grâce à la demande en IA. Nvidia occupera une part importante de ce marché. Passer d’un à deux mille milliards de dollars me semble raisonnable.
Huang : Ce que vous appelez GPU, et ce que j’entends par GPU, sont très différents dans nos esprits | Crédit photo : GeekPark
04. Sam Altman veut étendre ses activités au secteur des puces
Question : Sam Altman discute régulièrement avec des professionnels du secteur des puces afin d’étendre l’échelle des puces IA. Vous a-t-il parlé de ce projet ?
Jensen Huang : Je ne connais pas ses intentions. Il pense que l’IA générative va devenir très importante, et sur ce point, je suis entièrement d’accord.
Aujourd’hui, la façon dont les ordinateurs produisent des pixels consiste à extraire des données d’un ensemble, à les traiter, puis à les transmettre. On croit souvent que ce processus consomme peu d’énergie, mais c’est exactement l’inverse. Car chaque fois que vous touchez votre téléphone, chaque prompt, nécessite une course vers la base de données pour récupérer les informations. Extraire les données, collecter via le CPU toutes les parties nécessaires, combiner ces informations d’une manière significative (du point de vue des systèmes de recommandation), puis renvoyer le résultat à l’utilisateur — ce processus requiert d’énormes capacités de calcul.
C’est comme si, chaque fois que vous me posez une question, je devais courir jusqu’à mon bureau chercher l’information. Cela demande beaucoup d’efforts. À l’avenir, une part croissante du calcul sera générative, plutôt que basée sur la recherche. Bien sûr, ce processus génératif doit être intelligent et contextuel. Je crois que presque chaque pixel et chaque interaction sur nos ordinateurs seront à l’avenir générés. Et je pense que Sam Altman partage cet avis. J’espère que l’architecture Blackwell pourra apporter une contribution majeure à ce domaine de l’IA générative. Pour l’instant, la plupart des expériences sont encore basées sur la recherche, mais si à l’avenir toutes les interactions homme-machine étaient génératives, je ne serais pas surpris. C’est une opportunité énorme.
05. À quoi ressembleraient les grands modèles personnels ?
Question : Je suis entièrement d’accord avec votre définition du logiciel futur. Notre vie change aussi considérablement grâce aux LLM. Concernant les modèles de base, à quoi pensez-vous qu’ils ressembleront à l’avenir ?
Jensen Huang : Le cœur du sujet est : comment pouvons-nous disposer de grands modèles personnels ? Plusieurs approches sont possibles. Initialement, on pensait que cela passerait par l’ajustement fin (fine tuning), avec un réglage continu durant l’utilisation.
Mais, comme vous le savez, le fine tuning prend beaucoup de temps. Ensuite, nous avons découvert l’ingénierie des prompts (prompt engineering), l’apprentissage contextuel (context learning), les environnements de travail (working environment), etc.
Je pense que la réponse sera une combinaison de tout cela. À l’avenir, vous pourrez ajuster finement une seule couche appelée Lora (en verrouillant les autres parties), réalisant ainsi un fine tuning à faible coût. Vous pourrez co-créer des prompts, effectuer un apprentissage contextuel, augmenter la mémoire du modèle. Toutes ces techniques créeront votre grand modèle unique, exécutable dans le cloud ou sur votre ordinateur local.
06. Opinion sur les start-ups de puces IA
Question : Hier, après votre présentation principale, la société de puces Groq a tweeté que leur puce était toujours plus rapide. Que pensez-vous des commentaires des start-ups spécialisées dans les puces IA ?
Jensen Huang : Je n’en sais pas tant que ça (rire), je préfère ne pas commenter.
Tout modèle générant des tokens a besoin d’une méthode spécifique, car Transformer n’est pas le nom d’un seul modèle.
Ces modèles reposent globalement sur la technologie Transformer, utilisant tous le mécanisme d’attention Transformer, mais ils diffèrent fortement entre eux. Certains utilisent un mélange d’experts (Mixture of Experts), certains ont deux experts, d’autres quatre. Ces modèles attendent des messages, les routent différemment — chaque étape interne varie. Chaque modèle nécessite donc une optimisation spécifique.
Si une unité de calcul est conçue pour fonctionner d’une manière fixe et spécifique, elle devient un ordinateur configurable, non programmable, et ne peut donc pas profiter de la vitesse et du potentiel de l’innovation logicielle.
Comme on ne peut sous-estimer le miracle du CPU, la raison pour laquelle le CPU reste le CPU depuis toutes ces années, c’est qu’il a permis aux talents des ingénieurs logiciels de s’exprimer malgré les matériels configurables sur les cartes mères PC. Au contraire, si vous figez tout dans la puce, vous brisez l’intelligence que les développeurs peuvent apporter.
C’est pourquoi les puces Nvidia excellent dans différentes architectures de modèles d’IA — d’AlexNet jusqu’au Transformer. Nvidia a trouvé un moyen de tirer parti d’une forme de calcul très spécialisée, où la puce sert à favoriser le logiciel. Et le rôle de Nvidia est de favoriser l’invention, comme celle de ChatGPT.
07. Comment les simulations spatiales pour robots exploitent-elles les modèles linguistiques ?
Question : Vous avez parlé de l’utilisation de l’IA générative et de la simulation à grande échelle pour entraîner les robots. Mais il existe de nombreuses choses que nous ne savons pas bien simuler, notamment dans des environnements structurés. Comment franchir ces limites pour continuer à entraîner les robots ?
Jensen Huang : Plusieurs méthodes existent. Premièrement, vous pouvez formuler votre problème ou point de vue dans le contexte de votre modèle linguistique.
Les grands modèles linguistiques fonctionnent de manière non contrainte et non structurée, ce qui constitue aussi leur potentiel. Ils ont appris beaucoup de choses à partir du texte, mais cela peut ne pas convenir à la généralisation. Leur capacité à généraliser dans l’espace est une sorte de « magie ». Le moment « ChatGPT » pour les robots pourrait bien être proche.
Pour surmonter ce problème, vous pouvez définir le contexte et la situation, par exemple en précisant qu’on se trouve dans une cuisine particulière. En appliquant la « magie » de ChatGPT, le robot peut généraliser efficacement et générer des tokens significatifs pour le logiciel. Une fois que les capteurs du robot reconnaissent ces tokens, il peut en tirer des inférences.
08. Prévoir le prochain « moment ChatGPT »
Question : Vous avez mentionné que certains secteurs allaient connaître leur « moment ChatGPT » en premier. Lesquels seront les premiers à changer ? Pouvez-vous partager des avancées ou cas concrets particulièrement prometteurs ?
Jensen Huang : Il y a de nombreux exemples. Je suis très enthousiasmé par Sora. L’an dernier, j’ai vu des capacités similaires chez Wayve — un exemple de génération vidéo à partir de texte.
Pour générer une telle vidéo, le modèle doit comprendre les lois physiques : poser un objet sur une table, pas en l’air ; une personne marche sur le sol. Il ne faut pas violer les lois de la physique.
Un autre exemple est notre utilisation d’Earth-2 pour prédire les impacts des événements climatiques extrêmes. C’est un domaine de recherche crucial, car ces événements peuvent ravager des communautés locales. Avec Earth-2, nous pouvons prédire l’impact des phénomènes extrêmes à une échelle de 3 km. C’est une amélioration majeure par rapport aux méthodes actuelles, qui nécessiteraient un supercalculateur 25 000 fois plus puissant.
La découverte de nouveaux médicaments et protéines est un autre cas d’usage impressionnant. Grâce à des boucles d’apprentissage par renforcement comme AlphaGo, on peut explorer l’espace des macromolécules sans consommer de matière pure, ce qui pourrait révolutionner la découverte de médicaments.
Ce sont des avancées très impactantes. La robotique aussi.
Le 18 mars, lors de la conférence inaugurale du GTC, Huang observe attentivement le dernier produit de l’architecture Blackwell | Crédit photo : GeekPark
09. Impact des restrictions à l’exportation des puces sur Nvidia
Question : Quel impact les restrictions à l’exportation des puces et la géopolitique ont-ils sur Nvidia ?
Jensen Huang : Deux choses doivent être faites immédiatement. Premièrement, comprendre toutes les politiques pour garantir la conformité. Deuxièmement, renforcer la résilience de la chaîne d’approvisionnement.
Concernant ce dernier point, voici un exemple. Quand nous configurons la puce Blackwell en processeur DGX, elle intègre 600 000 composants provenant du monde entier, dont beaucoup viennent de Chine. Comme pour la complexité de la chaîne d’approvisionnement automobile, la mondialisation de la chaîne d’approvisionnement est difficile à briser.
10. Relation avec TSMC
Question : Pouvez-vous parler de votre relation avec TSMC ? Ces dernières années, face à la complexité croissante de l’emballage des puces, comment TSMC a-t-il aidé Nvidia à atteindre ses objectifs ?
Jensen Huang : Notre collaboration avec TSMC est l’une des plus étroites, car ce que nous souhaitons réaliser est extrêmement difficile, et ils excellent à le faire.
Nous recevons de TSMC les unités de calcul, les puces brutes CPU et GPU, avec un bon taux de rendement. Les mémoires proviennent de Micron, SK Hynix et Samsung, et l’assemblage doit être réalisé à Taïwan. La chaîne d’approvisionnement n’est donc pas simple, elle exige une coordination étroite entre entreprises. Ces grandes sociétés collaborent avec nous et prennent progressivement conscience que cette coopération accrue est essentielle.
Nous récupérons des composants auprès de diverses entreprises, puis les assemblons. Une troisième entreprise teste, une quatrième assemble le système. Bien sûr, ce grand système vise à former un superordinateur, qui est ensuite testé. Enfin, nous construisons un centre de données. Imaginez que toute la fabrication vise à créer un centre de données gigantesque. La complexité de la chaîne d’approvisionnement, de haut en bas, est extrêmement élevée, car nous ne faisons pas que monter des pièces : outre le miracle de la puce elle-même, nous créons des systèmes immenses et complexes.
Donc, quand on me demande ce que je pense du GPU, certains peuvent imaginer simplement une puce SoC. Moi, je vois des racks, des câbles, des commutateurs, etc. C’est cela mon modèle mental du GPU et du logiciel. TSMC est vraiment important.
11. Stratégie pour les activités cloud
Question : Nvidia opère une transition vers les services cloud, tandis que d'autres fournisseurs cloud développent leurs propres puces. Cela affectera-t-il votre stratégie de tarification ? Quelle est la stratégie de Nvidia pour ses activités cloud ? Vendrez-vous le service cloud DGX à des clients chinois ?
Jensen Huang : Nvidia collabore avec les fournisseurs de services cloud pour intégrer notre matériel et nos logiciels dans leurs clouds. L’objectif est d’attirer des clients vers leurs clouds.
Nvidia est une entreprise de plateformes de calcul. Nous développons des logiciels et disposons d’une communauté de développeurs fidèles. Ainsi, nous créons de la demande et attirons des clients pour les fournisseurs de services cloud (CSP) utilisant DGX de Nvidia.
12. « Léonard de Vinci contemporain » ou « Oppenheimer moderne » ?
Question : Vous avez dit que l’AGI arriverait dans cinq ans. Cette estimation a-t-elle changé ? L’arrivée accélérée de l’AGI vous effraie-t-elle ? Certains vous appellent le Léonard de Vinci moderne (polyvalent, ayant accompli tant de choses), d’autres vous comparent à Oppenheimer. Qu’en pensez-vous ?
Jensen Huang : Oppenheimer a fabriqué la bombe atomique. Nous (Nvidia), nous ne faisons pas cela.
Définissons d’abord précisément l’AGI, afin de savoir à quel niveau on peut dire qu’elle est atteinte, et quand. Si AGI signifie qu’un programme informatique peut surpasser la majorité des humains, voire tous les humains, sur de vastes batteries de tests — mathématiques, lecture, logique, examens médicaux, juridiques, GMAT, SAT, etc. — alors l’ordinateur pourra atteindre l’AGI dans les cinq ans.
Bienvenue dans la communauté officielle TechFlow
Groupe Telegram :https://t.me/TechFlowDaily
Compte Twitter officiel :https://x.com/TechFlowPost
Compte Twitter anglais :https://x.com/BlockFlow_News
极客公园
