Étude approfondie : Est-il possible de financer un modèle d'intelligence artificielle par le biais d'une campagne participative utilisant des incitations cryptographiques ?
TechFlow SélectionTechFlow Sélection
Étude approfondie : Est-il possible de financer un modèle d'intelligence artificielle par le biais d'une campagne participative utilisant des incitations cryptographiques ?
Ce rapport examine l'état actuel de l'entraînement des grands modèles et les coûts associés.
Dédié à des analyses Web3 approfondiesAuteur : Jeff Amico
Traduction : TechFlow
Introduction
Pendant la pandémie de COVID-19, le projet Folding@home a atteint un jalon majeur. Il a accumulé une puissance de calcul de 2,4 exaFLOPS, fournie par environ 2 millions d'appareils appartenant à des volontaires du monde entier. Cela représentait alors quinze fois la puissance de traitement du plus grand supercalculateur au monde, permettant aux scientifiques de simuler à grande échelle la dynamique des protéines du virus du COVID. Leurs travaux ont approfondi notre compréhension du virus et de ses mécanismes pathologiques, en particulier durant les premières phases de la crise.
Répartition mondiale des utilisateurs de Folding@home, 2021
Folding@home s'inscrit dans une longue tradition de calcul participatif, où des ressources informatiques sont mutualisées pour résoudre des problèmes à grande échelle. Ce concept a connu un large succès dans les années 1990 avec SETI@home, qui réunissait plus de 5 millions d'ordinateurs personnels afin de rechercher des signes de vie extraterrestre. Depuis, cette idée a été appliquée à divers domaines, tels que l'astrophysique, la biologie moléculaire, les mathématiques, la cryptographie ou encore les jeux. Dans chaque cas, la puissance collective dépasse largement ce que pourrait accomplir un seul acteur isolé, accélérant ainsi les progrès et rendant la recherche plus ouverte et collaborative.
Beaucoup se demandent si nous pouvons appliquer ce modèle de mutualisation au deep learning. Autrement dit, pouvons-nous entraîner un grand réseau neuronal grâce à une communauté de particuliers ? L’entraînement des modèles de pointe est aujourd’hui l’une des tâches les plus intensives en calcul de l’histoire humaine en termes de puissance de calcul. Comme pour les projets @home, son coût actuel limite l’accès aux seuls plus grands acteurs. Cela risque de freiner les progrès futurs, puisque nous dépendons d’un nombre croissant de moins en moins élevé d’entreprises pour découvrir de nouvelles avancées. Cela concentre également le contrôle de nos systèmes d’intelligence artificielle entre très peu de mains. Quelle que soit votre opinion sur cette technologie, c’est un avenir préoccupant.
La plupart des critiques rejettent l'idée d'un entraînement décentralisé, arguant qu'elle serait incompatible avec les techniques actuelles. Pourtant, cette vision devient de plus en plus obsolète. De nouvelles technologies ont émergé, capables de réduire fortement les besoins en communication entre nœuds, permettant ainsi un entraînement efficace même sur des appareils aux connexions limitées. Ces méthodes incluent notamment DiLoCo, SWARM Parallelism, lo-fi et l'entraînement décentralisé de modèles fondamentaux dans des environnements hétérogènes. Beaucoup de ces approches sont tolérantes aux pannes et fonctionnent dans des environnements hétérogènes. De nouvelles architectures ont aussi été conçues spécifiquement pour les réseaux décentralisés, comme DiPaCo ou les modèles hybrides d'experts décentralisés.
Nous assistons également à la maturation de diverses primitives cryptographiques permettant une coordination mondiale des ressources. Ces technologies soutiennent des applications telles que les monnaies numériques, les paiements transfrontaliers et les marchés prédictifs. Contrairement aux anciens projets de bénévolat, ces réseaux peuvent mobiliser une puissance de calcul stupéfiante, souvent plusieurs ordres de grandeur supérieure à celle des plus grands clusters d'entraînement cloud actuellement envisagés .
Ces éléments combinés forment un nouveau paradigme pour l'entraînement des modèles. Ce paradigme exploite pleinement les ressources informatiques mondiales, y compris celles provenant d'une vaste base d'appareils périphériques pouvant être interconnectés. Cela réduira les coûts de la majorité des charges de travail d'entraînement grâce à de nouveaux mécanismes concurrentiels. Il permettra aussi de nouvelles formes d'entraînement, rendant le développement de modèles collaboratif et modulaire, plutôt que cloisonné et monolithique. Les modèles pourront apprendre en temps réel à partir des données et de la puissance de calcul fournies par le grand public. Les individus pourront posséder une part des modèles qu'ils auront contribué à créer. Les chercheurs pourront aussi partager librement leurs découvertes novatrices sans avoir à les monétiser pour compenser des budgets de calcul élevés.
Ce rapport examine l'état actuel de l'entraînement des grands modèles ainsi que les coûts associés. Il passe en revue les précédents efforts de calcul distribué — de SETI à Folding en passant par BOINC — afin d'en tirer inspiration pour explorer des voies alternatives. Il traite des défis historiques liés à l'entraînement décentralisé, puis explore les récentes avancées susceptibles de les surmonter. Enfin, il résume les opportunités et obstacles à venir.
L’état actuel de l’entraînement des modèles de pointe
Le coût de l’entraînement des modèles de pointe est désormais inabordable pour tout acteur autre que les géants du secteur. Cette tendance n’est pas nouvelle, mais elle s’accentue selon les données disponibles, car les laboratoires leaders continuent de tester les limites des hypothèses d’échelle . OpenAI aurait dépensé plus de 3 milliards de dollars cette année rien que pour l’entraînement, selon des informations . Anthropic prévoit que dès 2025, nous assisterons à des entraînements à 10 milliards de dollars, suivis rapidement par des modèles à 100 milliards.
Cette évolution conduit à une concentration accrue du secteur, car seules quelques entreprises peuvent supporter de tels coûts. Cela soulève une question centrale de politique publique : sommes-nous prêts à accepter qu’un ou deux acteurs contrôlent tous les principaux systèmes d’IA ? Cela ralentit aussi le rythme des progrès, ce que constate clairement la communauté de recherche, car les petits laboratoires ne peuvent pas accéder aux ressources nécessaires pour expérimenter à grande échelle. Des dirigeants du secteur eux-mêmes ont souligné ce problème :
Joe Spisak de Meta : « Pour vraiment comprendre les capacités [d’une architecture de modèle], vous devez l’explorer à grande échelle, et c’est précisément ce qui manque actuellement dans l’écosystème. Regardez le milieu académique : il regorge de talents exceptionnels, mais ils n’ont pas accès aux ressources informatiques nécessaires. Cela pose problème, car ils ont de grandes idées, mais aucune voie concrète pour les réaliser au niveau requis. »
Max Ryabinin de Together : « La nécessité de matériel coûteux met une forte pression sur la communauté de recherche. La plupart des chercheurs ne peuvent pas participer au développement de grands réseaux neuronaux, car le coût des expériences nécessaires est trop élevé pour eux. Si nous continuons à augmenter la taille des modèles uniquement par leur échelle, finalement, seules quelques grandes entreprises pourront concurrencer. »
François Chollet de Google : « Nous savons que les grands modèles linguistiques (LLM) n’ont pas encore atteint l’intelligence artificielle générale (AGI). Entre-temps, les progrès vers l’AGI sont au point mort. Les limitations que nous rencontrons avec les LLM sont exactement les mêmes qu’il y a cinq ans. Nous avons besoin de nouvelles idées et percées. Je pense que la prochaine avancée viendra probablement de groupes extérieurs, tandis que tous les grands laboratoires sont occupés à entraîner des LLM encore plus gros. »
Certains doutent de ces inquiétudes, estimant que les progrès matériels et les investissements en cloud suffiront à résoudre le problème. Mais cela semble peu réaliste. D’un côté, d’ici la fin de cette décennie, le nombre de FLOP des nouveaux puces Nvidia pourrait augmenter considérablement, atteignant peut-être 10 fois celui des H100 actuels. Cela ferait chuter le prix par FLOP de 80 à 90 %. De même, on prévoit une multiplication par environ 20 de l’offre totale de FLOP, accompagnée d’améliorations du réseau et des infrastructures associées. Tout cela améliorera nettement l’efficacité du calcul par dollar dépensé.
Source : Modèle TCO du cloud IA de SemiAnalysis
Parallèlement, la demande globale en FLOP devrait aussi fortement augmenter, car les laboratoires souhaitent continuer à agrandir leurs modèles. Si la tendance actuelle de croissance du calcul d’entraînement se maintient, on estime qu’en 2030, les entraînements de pointe nécessiteront environ 2 × 10²⁹ FLOP. Un tel volume exigerait environ 20 millions de GPU équivalents à l’H100, basé sur les temps d’exécution et taux d’utilisation actuels. En supposant qu’il reste plusieurs laboratoires leaders, la demande totale en FLOP serait plusieurs fois supérieure, car l’offre globale serait répartie entre eux. EpochAI estime que nous aurons alors besoin d’environ 100 millions de GPU équivalents à l’H100, soit environ 50 fois les volumes d’expédition de 2024. SemiAnalysis fait une prévision similaire, anticipant une croissance parallèle entre la demande en entraînement et l’offre de GPU.
La situation de l’approvisionnement pourrait devenir plus tendue pour plusieurs raisons. Par exemple, des goulets d’étranglement dans la fabrication pourraient retarder les cycles de livraison prévus, ce qui arrive fréquemment. Ou bien nous pourrions ne pas produire assez d’énergie pour alimenter les centres de données. Ou encore, nous pourrions rencontrer des difficultés à connecter ces sources d’énergie au réseau électrique. Ou enfin, un examen accru des dépenses en capital pourrait conduire à une contraction du secteur. Même dans le meilleur des scénarios, notre méthode actuelle ne permettrait qu’à un petit nombre d’entreprises de poursuivre les avancées, ce qui risque de ne pas suffire.
Il est clair qu’il nous faut une nouvelle approche. Plutôt que de dépendre d’une expansion continue des centres de données, des dépenses en capital et de la consommation d’énergie pour trouver la prochaine percée, nous devons utiliser efficacement les infrastructures existantes, en nous adaptant de manière flexible aux fluctuations de la demande. Cela permettrait davantage d’expérimentation en recherche, car les entraînements ne seraient plus soumis à la pression de rentabiliser des budgets astronomiques. Une fois libéré de cette contrainte, nous pourrions aller au-delà du modèle actuel des grands modèles linguistiques (LLM), ce qui, selon beaucoup, est nécessaire pour atteindre l’intelligence artificielle générale (AGI). Pour imaginer à quoi pourrait ressembler cette alternative, nous pouvons nous inspirer des pratiques passées de calcul distribué.
Calcul collectif : brève histoire
SETI@home a popularisé ce concept en 1999, permettant à des millions de participants d’analyser des signaux radio à la recherche de vie extraterrestre. SETI collectait des données électromagnétiques depuis le télescope d’Arecibo, les divisait en lots, puis les envoyait via Internet aux utilisateurs. Ces derniers analysaient les données pendant leurs activités quotidiennes et renvoyaient les résultats. Aucune communication directe n’était requise entre utilisateurs, et les lots pouvaient être traités indépendamment, permettant un parallélisme extrêmement élevé. À son apogée, SETI@home comptait plus de 5 millions de participants, offrant une puissance de calcul supérieure à celle du plus grand supercalculateur de l’époque. Le projet s’est officiellement arrêté en mars 2020, mais son succès a inspiré toute une génération de projets de calcul bénévole.
Folding@home a repris cette idée en 2000, utilisant le calcul périphérique pour simuler le repliement des protéines impliquées dans des maladies comme Alzheimer, le cancer ou Parkinson. Les volontaires utilisaient le temps d’inactivité de leurs PC pour simuler ces processus, aidant ainsi les chercheurs à comprendre comment les protéines se replient incorrectement et provoquent des maladies. À différents moments de son histoire, sa puissance de calcul a surpassé celle des plus grands supercalculateurs, notamment à la fin des années 2000 et pendant la pandémie, devenant ainsi le premier projet de calcul distribué à dépasser 1 exaFLOP. Depuis sa création, les chercheurs de Folding@home ont publié plus de 200 articles évalués par les pairs, chacun reposant sur la puissance fournie par les volontaires.
L’Infrastructure Ouverte de Calcul sur Réseau Berkeley (BOINC) a démocratisé ce modèle en 2002, en proposant une plateforme de calcul mutualisé pour divers projets de recherche. Elle prend en charge des initiatives comme SETI@home et Folding@home, ainsi que de nouveaux projets en astrophysique, biologie moléculaire, mathématiques ou cryptographie. En 2024, BOINC répertoriait 30 projets actifs et près de 1 000 publications scientifiques ayant utilisé son réseau.
Au-delà de la recherche, le calcul bénévole a servi à entraîner des moteurs de jeux comme le go (LeelaZero, KataGo) ou les échecs (Stockfish, LeelaChessZero). LeelaZero a été entraîné de 2017 à 2021 via un réseau de bénévoles, lui permettant de jouer plus de dix millions de parties contre lui-même, créant ainsi l’un des meilleurs moteurs de go actuels. De même, Stockfish s’entraîne continuellement depuis 2013 sur un réseau de bénévoles, ce qui en fait l’un des moteurs d’échecs les plus populaires et performants.
Les défis posés par le deep learning
Mais pouvons-nous appliquer ce modèle au deep learning ? Peut-on connecter des appareils périphériques du monde entier pour former un cluster public à faible coût ? Le matériel grand public — des portables Apple aux cartes graphiques de jeu Nvidia — devient de plus en plus performant pour le deep learning . Dans de nombreux cas, ces appareils offrent même un meilleur rapport performance/prix que les GPU de centre de données .
Cependant, pour exploiter efficacement ces ressources dans un environnement distribué, nous devons relever plusieurs défis.
Premièrement, les techniques actuelles d’entraînement distribué supposent une communication fréquente entre les nœuds.
Les modèles de pointe sont désormais si vastes qu’ils doivent être répartis sur des milliers de GPU. Cela s’accomplit grâce à diverses techniques de parallélisation, consistant à diviser le modèle, le jeu de données, ou les deux simultanément entre les GPU disponibles. Cela nécessite généralement un réseau à haute bande passante et faible latence, sinon les nœuds restent inactifs en attendant les données.
Par exemple, la parallélisation de données distribuée (DDP) attribue différentes portions du jeu de données à chaque GPU. Chaque GPU entraîne une copie complète du modèle sur son lot, puis partage ses mises à jour de gradients afin de générer de nouveaux poids du modèle. Cette méthode implique un coût de communication relativement faible, car les nœuds ne partagent des gradients qu’après chaque rétropropagation, et les opérations de communication peuvent être partiellement superposées au calcul. Toutefois, elle ne convient qu’aux modèles de petite taille, car chaque GPU doit stocker en mémoire l’intégralité des poids du modèle, des activations et de l’état de l’optimiseur. Par exemple, GPT-4 nécessitait plus de 10 To de mémoire lors de son entraînement, alors qu’un seul H100 n’en dispose que de 80 Go.
Pour résoudre ce problème, on utilise aussi des techniques de découpage du modèle entre les GPU. Par exemple, la parallélisation tensorielle divise les poids au sein d’une même couche, chaque GPU effectuant une partie des calculs avant de transmettre les résultats aux autres. Cela réduit la mémoire requise par GPU, mais impose des communications constantes entre eux, nécessitant des connexions haut débit et à faible latence pour être efficace.
La parallélisation en pipeline attribue différentes couches du modèle à différents GPU. Chaque GPU exécute sa tâche et transmet les résultats au suivant dans le pipeline. Bien que cela implique moins de communication que la parallélisation tensorielle, cela peut créer des « bulles » (périodes d’inactivité), où les GPU situés en aval attendent des données venant des GPU en amont.
Pour faire face à ces défis, plusieurs approches ont été développées. Par exemple, ZeRO (Zero Redundancy Optimizer) est une technique d’optimisation mémoire qui réduit l’utilisation mémoire au prix d’une augmentation des communications. ZeRO diminue la mémoire nécessaire en répartissant les paramètres du modèle, les gradients et l’état de l’optimiseur entre les GPU, mais dépend de communications fréquentes pour que chaque GPU puisse récupérer les données dont il a besoin. C’est la base de méthodes populaires comme la parallélisation de données complètement fragmentée (FSDP) et DeepSpeed.
Ces techniques sont souvent combinées lors de l’entraînement de grands modèles pour maximiser l’efficacité, ce qu’on appelle le parallélisme 3D. Dans cette configuration, la parallélisation tensorielle est généralement utilisée au sein d’un même serveur pour répartir les poids, car les communications entre les couches découpées sont intenses. La parallélisation en pipeline est ensuite utilisée entre serveurs (mais sur une même île de datacenter) pour répartir les couches, car elle nécessite moins de communication. Enfin, la parallélisation de données ou FSDP est utilisée entre différentes îles de serveurs pour diviser les jeux de données, car elles peuvent gérer des délais réseau plus longs via des mises à jour asynchrones ou la compression des gradients. Meta a utilisé cette combinaison pour entraîner Llama 3.1, comme illustré ci-dessous.
Ces méthodes posent un défi central aux réseaux d’entraînement décentralisés, qui reposent sur des appareils connectés via Internet grand public (plus lents et instables). Dans cet environnement, le coût de communication peut vite dépasser les gains du calcul périphérique, car les appareils restent souvent inactifs en attente de données. Prenons un exemple simple : avec DDP, un modèle de 1 milliard de paramètres en précision demi-flottante nécessite que chaque GPU partage 2 Go de données à chaque étape. Avec une bande passante typique (1 Gbit/s) , et sans chevauchement entre calcul et communication, la transmission des gradients prendrait au moins 16 secondes, entraînant une grande inactivité. Les techniques comme la parallélisation tensorielle (plus communicantes) auraient bien sûr des performances encore pires.
Deuxièmement, les techniques actuelles d’entraînement manquent de tolérance aux pannes. Comme tout système distribué, plus un cluster grandit, plus il devient vulnérable aux défaillances. Ce problème est aggravé en entraînement, car les méthodes actuelles sont majoritairement synchrones : les GPU doivent coopérer étroitement. La panne d’un seul GPU parmi des milliers peut interrompre tout le processus, forçant les autres à recommencer depuis le début. Parfois, un GPU ne tombe pas en panne mais ralentit, ce qui retarde l’ensemble du cluster. Étant donné la taille actuelle des clusters, cela peut représenter des coûts supplémentaires allant de dizaines de millions à plusieurs centaines de millions de dollars.
Meta a détailé ces problèmes lors de l’entraînement de Llama, subissant plus de 400 interruptions imprévues, soit environ 8 par jour. Ces interruptions étaient principalement dues à des pannes matérielles (GPU ou serveurs). Cela a limité leur taux d’utilisation à 38–43 %. OpenAI a obtenu de moins bons résultats avec GPT-4, avec seulement 32–36 % d’utilisation, là encore à cause des pannes fréquentes.
En d’autres termes, même dans des environnements parfaitement optimisés — avec du matériel homogène, dernier cri, réseau, alimentation et refroidissement — les laboratoires de pointe peinent à dépasser 40 % d’utilisation. Cela est surtout dû aux pannes matérielles et aux problèmes réseau, qui seront encore plus prononcés dans un environnement périphérique, où les appareils varient fortement en puissance, bande passante, latence et fiabilité. Sans parler du fait que les réseaux décentralisés sont exposés aux comportements malveillants, certains participants pouvant chercher à saboter le projet ou tricher sur certaines tâches. Même un réseau purement bénévole comme SETI@home a connu des cas de tricherie.
Troisièmement, l’entraînement des modèles de pointe exige une puissance de calcul massive. Bien que des projets comme SETI ou Folding aient atteint des échelles impressionnantes, elles sont dérisoires comparées aux besoins actuels. GPT-4 a été entraîné sur un cluster de 20 000 A100, atteignant un débit pic de 6,28 exaFLOPS en demi-précision. C’est trois fois plus que le pic de Folding@home. Llama 405B a été entraîné sur 16 000 H100, avec un débit pic de 15,8 exaFLOPS, soit sept fois celui de Folding. Alors que plusieurs laboratoires planifient des clusters de plus de 100 000 H100, chacun capable de 99 exaFLOPS, cet écart ne fera que croître.
Ce n’est pas surprenant : les projets @home reposent sur des volontaires. Les contributeurs donnent leur mémoire et leur temps de calcul, assumant eux-mêmes les coûts. Cela limite naturellement leur échelle par rapport aux projets commerciaux.
Progrès récents
Bien que ces problèmes aient longtemps bloqué les tentatives d’entraînement décentralisé, ils semblent désormais surmontables. De nouvelles techniques d’entraînement ont émergé, capables de réduire fortement les besoins en communication entre nœuds, permettant ainsi un entraînement efficace sur des appareils connectés à Internet. Beaucoup proviennent de grands laboratoires cherchant à augmenter l’échelle de l’entraînement, donc à améliorer la communication entre datacenters. Nous voyons aussi des progrès en matière de tolérance aux pannes et d’incitations cryptographiques, permettant des entraînements plus massifs en environnement périphérique.
Techniques de communication efficaces
DiLoCo, une recherche récente de Google, réduit les communications en effectuant des optimisations locales avant de partager les mises à jour entre appareils. Cette méthode (basée sur des travaux antérieurs en apprentissage fédéré) obtient des résultats comparables à l’entraînement synchrone classique, tout en réduisant les communications de 500 fois. Elle a depuis été reproduite par d’autres chercheurs, étendue à des modèles plus larges (plus d’un milliard de paramètres), et adaptée à l’entraînement asynchrone, où les nœuds partagent leurs gradients à des moments différents. Cela s’adapte mieux au matériel périphérique hétérogène.
D’autres approches en parallélisation de données, comme lo-fi et DisTrO, visent à réduire encore davantage les communications. Lo-fi propose un ajustement local complet : les nœuds s’entraînent indépendamment et ne partagent leurs poids qu’à la fin. Cette méthode obtient des performances comparables à un modèle de référence lors de l’ajustement de modèles linguistiques de plus d’un milliard de paramètres, tout en é
Bienvenue dans la communauté officielle TechFlow
Groupe Telegram :https://t.me/TechFlowDaily
Compte Twitter officiel :https://x.com/TechFlowPost
Compte Twitter anglais :https://x.com/BlockFlow_News
@gensynai
