Étude IOSG | Crise de l'approvisionnement en GPU : comment les jeunes entreprises IA peuvent surmonter ce défi
TechFlow SélectionTechFlow Sélection
Étude IOSG | Crise de l'approvisionnement en GPU : comment les jeunes entreprises IA peuvent surmonter ce défi
Le modèle DePIN a le potentiel de résoudre le problème de disponibilité des GPU, mais un modèle fragmenté n'améliorera pas la situation.
Dédié à des analyses Web3 approfondiesAuteur : Mohit Pandit, IOSG Ventures
Résumé
-
La pénurie de GPU est une réalité, avec une tension entre offre et demande, mais le nombre de GPU sous-utilisés pourrait satisfaire la demande actuelle en manque d'approvisionnement.
-
Un niveau d'incitation est nécessaire pour favoriser la participation au cloud computing, puis coordonner efficacement les tâches de calcul destinées à l'inférence ou à l'entraînement. Le modèle DePIN correspond exactement à ce besoin.
-
Grâce aux incitations côté fournisseurs et aux coûts de calcul réduits, cette solution devient attrayante pour les demandeurs.
-
Tout n'est pas parfait : choisir un cloud Web3 implique certains compromis, notamment en matière de « latence ». D'autres compromis concernent aussi l'assurance ou les accords de niveau de service (SLA), comparé aux clouds GPU traditionnels.
-
Le modèle DePIN a le potentiel de résoudre le problème de disponibilité des GPU, mais un modèle fragmenté n'améliorera pas la situation. Dans un contexte de demande croissante exponentiellement, une offre fragmentée équivaut à une absence d'offre.
-
Compte tenu du nombre croissant de nouveaux acteurs sur le marché, l'agrégation du marché est inévitable.
Introduction
Nous nous trouvons à la frontière d'une nouvelle ère du machine learning et de l'intelligence artificielle. Bien que l'IA existe depuis un certain temps sous diverses formes (une IA étant un dispositif informatique programmé pour effectuer des tâches réalisables par un humain, comme une machine à laver), nous assistons désormais à l'émergence de modèles cognitifs complexes capables d'exécuter des tâches nécessitant une intelligence humaine. Des exemples notables incluent GPT-4 et DALL-E 2 d'OpenAI, ainsi que Gemini de Google.
Dans le domaine en pleine expansion de l'intelligence artificielle (IA), il faut reconnaître deux aspects fondamentaux du développement : l'entraînement des modèles et l'inférence. L'inférence concerne les fonctionnalités et sorties d'un modèle d'IA, tandis que l'entraînement couvre le processus complexe requis pour construire des modèles intelligents (incluant algorithmes de machine learning, jeux de données et puissance de calcul).
Prenons l'exemple de GPT-4 : l'utilisateur final ne se préoccupe que de l'inférence, c’est-à-dire obtenir une réponse à partir d'une entrée textuelle. Cependant, la qualité de cette inférence dépend de l'entraînement du modèle. Pour former des modèles d'IA efficaces, les développeurs doivent disposer de jeux de données complets et d'une puissance de calcul massive. Ces ressources sont principalement concentrées entre les mains de géants du secteur tels qu'OpenAI, Google, Microsoft et AWS.
La formule est simple : meilleur entraînement du modèle >> meilleure capacité d'inférence du modèle d'IA >> plus d'utilisateurs attirés >> revenus accrus, permettant davantage de ressources pour de futurs entraînements.
Ces grands acteurs ont accès à de vastes jeux de données de base, et surtout contrôlent une puissance de calcul considérable, créant ainsi une barrière à l'entrée pour les nouveaux développeurs. En conséquence, les nouveaux venus peinent souvent à obtenir suffisamment de données ou à exploiter la puissance de calcul nécessaire à une échelle économique viable. Face à ce constat, nous voyons que les réseaux offrent une grande valeur en démocratisant l'accès aux ressources, en particulier en facilitant l'accès à grande échelle à la puissance de calcul et en réduisant les coûts.
Problème d'offre de GPU
Jensen Huang, PDG de NVIDIA, affirmait lors du CES 2019 que « la loi de Moore est terminée ». Aujourd'hui, les GPU sont fortement sous-utilisés. Même pendant les cycles d'apprentissage profond (deep learning), les GPU ne sont pas pleinement exploités.
Voici les taux typiques d'utilisation des GPU selon différents types de charge de travail :
-
Inactif (juste après démarrage sous Windows) : 0-2 %
-
Tâches générales de production (rédaction, navigation simple) : 0-15 %
-
Lecture vidéo : 15 - 35 %
-
Jeux PC : 25 - 95 %
-
Travail actif en conception graphique ou retouche photo (Photoshop, Illustrator) : 15 - 55 %
-
Montage vidéo (actif) : 15 - 55 %
-
Montage vidéo (rendu) : 33 - 100 %
-
Rendu 3D (CUDA / OptiX) : 33 - 100 % (souvent mal indiqué par le gestionnaire des tâches Windows – utiliser GPU-Z)
La majorité des appareils grand public équipés de GPU entrent dans les trois premières catégories.
Utilisation en cours d'exécution des GPU (%). Source : Weights and Biases
Cette situation met en lumière un problème : une mauvaise utilisation des ressources de calcul.
Il est nécessaire d'utiliser mieux la capacité des GPU grand public, même lorsque leur utilisation atteint des pics, car celle-ci reste sous-optimale. Cela clarifie deux actions futures essentielles :
-
L'agrégation des ressources (GPU)
-
La parallélisation des tâches d'entraînement
En ce qui concerne les types de matériel utilisables, quatre catégories sont disponibles aujourd’hui à l’offre :
· GPU de centre de données (ex. : Nvidia A100s)
· GPU grand public (ex. : Nvidia RTX3060)
· ASIC personnalisés (ex. : Coreweave IPU)
· SoCs grand public (ex. : Apple M2)
À l'exception des ASIC (conçus pour un usage spécifique), les autres matériels peuvent être regroupés afin d'être exploités de manière optimale. Comme ces puces sont largement réparties entre consommateurs et centres de données, un modèle DePIN visant à agréger les fournisseurs semble être la voie praticable.
La production de GPU suit une pyramide quantitative : les GPU grand public sont produits en plus grand nombre, alors que les modèles avancés comme les NVIDIA A100s et H100s sont produits en quantité moindre (mais offrent des performances supérieures). Le coût de fabrication de ces puces haut de gamme est 15 fois supérieur à celui des GPU grand public, sans toujours offrir 15 fois plus de performance.
Le marché mondial du cloud computing représente aujourd’hui environ 483 milliards de dollars, et devrait croître à un taux annuel composé d’environ 27 % au cours des prochaines années. En 2023, la demande en calcul ML s’élevait à environ 13 milliards d’heures, soit environ 56 milliards de dollars de dépenses selon les tarifs standards actuels. Ce marché entier connaît une croissance rapide, doublant tous les trois mois.
Demande en GPU
La demande en calcul provient principalement des développeurs d'IA (chercheurs et ingénieurs). Leurs besoins principaux sont : le prix (calcul à faible coût), l'échelle (accès à une grande quantité de puissance GPU) et l'expérience utilisateur (facilité d'accès et d'utilisation). Au cours des deux dernières années, la demande en GPU a été très forte en raison de l'essor des applications basées sur l'IA et du développement des modèles ML. Le développement et l'exécution de modèles ML nécessitent :
-
Une puissance de calcul massive (via l’accès à plusieurs GPU ou à des centres de données)
-
La capacité d’exécuter l’entraînement de modèles, le réglage fin (fine tuning), ainsi que l’inférence, chaque tâche étant déployée en parallèle sur un grand nombre de GPU
Les dépenses liées au matériel de calcul devraient passer de 17 milliards de dollars en 2021 à 285 milliards de dollars en 2025 (environ 102 % de croissance annuelle composée), et ARK prévoit que ces dépenses atteindront 1 700 milliards de dollars d'ici 2030 (43 % de croissance annuelle composée).
ARK Research
Alors que de nombreux grands modèles linguistiques (LLM) sont encore en phase d'innovation, la compétition stimule la demande en calcul pour plus de paramètres et de nouveaux entraînements, ce qui laisse présager une demande soutenue pour du calcul de haute qualité dans les années à venir.
Où la blockchain intervient-elle face à la pénurie croissante de GPU ?
Lorsque les ressources sont sous-utilisées, le modèle DePIN peut jouer un rôle clé :
-
Stimuler les fournisseurs, créant ainsi une large offre
-
Coordonner et exécuter les tâches
-
Garantir que les tâches soient correctement accomplies
-
Récompenser correctement les fournisseurs ayant accompli le travail
Agréger tout type de GPU (grand public, entreprise, haute performance, etc.) peut poser des problèmes d'efficacité. Lorsque les tâches de calcul sont divisées, une puce A100 ne devrait pas exécuter des calculs simples. Les réseaux GPU doivent décider quels types de GPU intégrer selon leur stratégie d'entrée sur le marché.
Lorsque les ressources de calcul sont elles-mêmes dispersées (parfois mondialement), un choix doit être fait par l'utilisateur ou par le protocole lui-même quant au cadre de calcul à utiliser. Des fournisseurs comme io.net permettent aux utilisateurs de choisir parmi trois cadres de calcul : Ray, Mega-Ray ou le déploiement de clusters Kubernetes dans des conteneurs pour exécuter les tâches. D'autres frameworks distribués existent, comme Apache Spark, mais Ray est le plus couramment utilisé. Une fois que les GPU sélectionnés ont terminé la tâche de calcul, la sortie est reconstituée pour produire un modèle entraîné.
Un modèle de jeton bien conçu subventionne le coût du calcul pour les fournisseurs de GPU, rendant cette solution particulièrement attractive pour de nombreux développeurs (demandeurs). Les systèmes de calcul distribué présentent intrinsèquement une latence due à la décomposition des calculs et à la reconstruction des résultats. Les développeurs doivent donc faire un compromis entre rentabilité du coût d'entraînement et temps requis.
Un système de calcul distribué a-t-il besoin de sa propre blockchain ?
Deux modèles économiques sont possibles pour un réseau :
-
Facturation par tâche (ou cycle de calcul) ou par unité de temps
-
Facturation par unité de temps
Dans la première approche, on peut concevoir une blockchain de type preuve de travail, comme Gensyn tente de le faire, où différents GPU partagent la « tâche » et sont récompensés en conséquence. Pour un modèle plus fiable, ils introduisent des validateurs et des délateurs, récompensés pour garantir l’intégrité du système via des preuves générées par les solveurs.
Un autre système de preuve de travail est Exabits, qui ne découpe pas les tâches, mais considère l’ensemble de son réseau GPU comme un superordinateur unique. Ce modèle semble mieux adapté aux grands LLM.
Akash Network a ajouté le support des GPU et commence à agréger ceux-ci. Il dispose d’une blockchain L1 sous-jacente pour parvenir à un consensus sur l’état (affichant le travail accompli par les fournisseurs de GPU), d’une couche marché, et de systèmes d’orchestration de conteneurs comme Kubernetes ou Docker Swarm pour gérer le déploiement et l’extensibilité des applications utilisateur.
Pour qu’un système soit sans confiance, le modèle de chaîne de preuve de travail sera le plus efficace. Cela garantit la coordination et l’intégrité du protocole.
Inversement, des systèmes comme io.net ne se construisent pas autour d’une blockchain. Ils choisissent de résoudre le problème central de disponibilité des GPU et facturent leurs clients par unité de temps (par heure). Ils n’ont pas besoin de couche de vérifiabilité, car ils « louent » essentiellement des GPU, pouvant être utilisés librement durant une période de location donnée. Le protocole lui-même ne segmente pas les tâches ; c’est aux développeurs d’utiliser des frameworks open source comme Ray, Mega-Ray ou Kubernetes.
Cloud GPU Web2 vs Web3
Le Web2 compte de nombreux acteurs dans le domaine du cloud GPU ou GPU-as-a-Service. Les principaux acteurs incluent AWS, CoreWeave, PaperSpace, Jarvis Labs, Lambda Labs, Google Cloud, Microsoft Azure et OVH Cloud.
Il s'agit d'un modèle économique classique de cloud : les clients louent un GPU (ou plusieurs) par unité de temps (généralement à l'heure) lorsqu'ils ont besoin de puissance de calcul. De nombreuses solutions différentes existent, adaptées à divers cas d'usage.
La différence principale entre les clouds GPU Web2 et Web3 réside dans les paramètres suivants :
1. Coût de mise en place du cloud
Grâce aux incitations par jetons, le coût de création d’un cloud GPU est nettement réduit. OpenAI lève mille milliards de dollars pour la production de puces de calcul. Il semble donc que battre les leaders du marché sans incitation par jetons nécessite au moins mille milliards de dollars.
2. Temps de calcul
Les clouds GPU non Web3 seront plus rapides, car les clusters de GPU loués sont situés dans une même zone géographique. En revanche, le modèle Web3 peut avoir un système plus largement distribué, et la latence peut provenir d’une segmentation inefficace des tâches, d’un déséquilibre de charge, et surtout de la bande passante.
3. Coût du calcul
Grâce aux incitations par jetons, le coût du calcul Web3 sera nettement inférieur aux modèles Web2 existants.
Comparaison des coûts de calcul :
Ces chiffres pourraient évoluer à mesure que l'offre augmente et que les clusters optimisent l'utilisation de ces GPU. Gensyn affirme pouvoir proposer des A100 (ou équivalents) à partir de 0,55 $ de l'heure, Exabits promettant une structure similaire d'économies.
4. Conformité réglementaire
Dans un système sans permission, la conformité n’est pas aisée. Toutefois, des systèmes Web3 comme io.net ou Gensyn ne se positionnent pas comme systèmes sans permission. La conformité aux normes telles que GDPR et HIPAA est traitée aux étapes d'activation des GPU, de chargement des données, de partage des données et de diffusion des résultats.
Écosystème
Gensyn, io.net, Exabits, Akash
Risques
1. Risque de demande
Je pense que les principaux acteurs des grands LLM continueront soit à accumuler des GPU, soit à utiliser des clusters de GPU comme le superordinateur Selene de NVIDIA, dont la performance crête est de 2,8 exaFLOP/s. Ils ne compteront pas sur des fournisseurs grand public ou de petits clouds agrégés. Actuellement, les grandes organisations d’IA rivalisent davantage sur la qualité que sur le coût.
Pour les modèles ML non intensifs, ils chercheront des ressources de calcul moins chères. Les clusters de GPU incités par blockchain peuvent alors servir en optimisant les GPU existants (sous réserve que ces organisations préfèrent entraîner leurs propres modèles plutôt que d’utiliser des LLM).
2. Risque d'offre
Avec les importants investissements dans la recherche sur les ASIC et des inventions comme les Unités de Traitement Tensoriel (TPU), le problème de pénurie de GPU pourrait s’atténuer de lui-même. Si ces ASIC offrent un bon rapport performance/coût, les GPU actuellement stockés par les grandes organisations d’IA pourraient retourner sur le marché.
Les clusters de GPU basés sur la blockchain résolvent-ils un problème durable ? Bien que la blockchain puisse prendre en charge n'importe quel type de puce, ce sont les actions des demandeurs qui détermineront entièrement l'orientation des projets dans ce domaine.
Conclusion
Un réseau fragmenté constitué de petits clusters de GPU ne résoudra pas le problème. Il n’y a pas de place pour les clusters de GPU « longue traîne ». Les fournisseurs de GPU (revendeurs ou petits acteurs du cloud) auront tendance à rejoindre les plus grands réseaux, car ceux-ci offrent de meilleurs incitatifs. Cela dépendra de la qualité du modèle de jeton et de la capacité du fournisseur à supporter plusieurs types de calcul.
Les clusters de GPU pourraient connaître un destin d'agrégation similaire à celui des CDN. Si de grands acteurs veulent concurrencer des leaders établis comme AWS, ils pourraient commencer à partager des ressources afin de réduire la latence réseau et la distance géographique entre les nœuds.
Si la demande augmente fortement (plus de modèles à entraîner, plus de paramètres à ajuster), les acteurs Web3 doivent être très proactifs en développement commercial côté offre. S’il y a trop de clusters concurrents issus du même bassin de clients, l’offre deviendra fragmentée (ce qui rend l’ensemble du concept inefficace), alors même que la demande (exprimée en TFLOPs) croît de façon exponentielle.
Io.net s’est déjà distingué parmi de nombreux concurrents en adoptant un modèle d’agrégateur. Il a déjà regroupé les GPU des mineurs de Render Network et de Filecoin, tout en amorçant l’offre sur sa propre plateforme. Cela pourrait bien être la direction du vainqueur dans les clusters GPU DePIN.
Bienvenue dans la communauté officielle TechFlow
Groupe Telegram :https://t.me/TechFlowDaily
Compte Twitter officiel :https://x.com/TechFlowPost
Compte Twitter anglais :https://x.com/BlockFlow_News
IOSG Ventures
