Comment les grands modèles d'IA et le Web3 peuvent-ils coexister ?
TechFlow SélectionTechFlow Sélection
Comment les grands modèles d'IA et le Web3 peuvent-ils coexister ?
La contribution concrète de la blockchain aux grands modèles d'IA se manifeste dans les domaines « du calcul, des données et de la collaboration ».
Dédié à des analyses Web3 approfondiesRédaction : Tian Hongfei, responsable du « AI+Crypto Studio » d'Island of Everything
Les grands modèles, technologies à diffusion la plus rapide de l'histoire humaine, attirent toute l'attention. Pendant ce temps, le web3, autrefois en vogue, fait face à des défis juridiques croissants. Toutefois, ces deux technologies radicalement différentes ne s'excluent nullement. Tian Hongfei, responsable du « AI+Crypto Studio » d'Island of Everything, explore avec nous les problèmes rencontrés par le développement des grands modèles et comment les entreprises du domaine web3 cherchent activement à y remédier.
Problèmes liés aux grands modèles et solutions via le Web3
Comme on le sait, après 2015, l’industrie internet est entrée dans une phase d’oligopole mondial, incitant les gouvernements du monde entier à mener des enquêtes antitrust contre les grandes plateformes. L’émergence des grands modèles a encore renforcé cette domination oligopolistique. Un grand modèle repose sur trois piliers : algorithme, puissance de calcul («算力») et données :
-
En matière d'algorithme, bien qu'un certain degré de monopole existe, grâce aux efforts du logiciel libre, aux universités de recherche et à la méfiance du public vis-à-vis des géants technologiques, les algorithmes peuvent rester relativement ouverts ;
-
En matière de puissance de calcul, le coût exorbitant de l'entraînement des grands modèles limite leur accès aux seules grandes entreprises, plaçant ainsi totalement la production algorithmique sous leur contrôle exclusif ;
-
En matière de données, bien que les grands modèles soient initialement entraînés sur des données publiques, celles-ci seront bientôt épuisées en raison de la croissance exponentielle des paramètres. Le développement futur dépendra donc de données privées. Bien que les petites entreprises possèdent collectivement une quantité massive de données, leur isolement rend difficile leur exploitation. Les grandes entreprises conservent donc un avantage monopolistique.
Ainsi, le contrôle centralisé à l'ère des grands modèles est plus fort que jamais. À l'avenir, le monde pourrait être dominé par quelques rares ordinateurs, voire un seul. (Même dans le monde décentralisé du Web3, Vitalik propose que le « End Game » d'Ethereum soit géré par une seule machine de création de blocs.)
Par ailleurs, OpenAI, l'entreprise derrière ChatGPT, compte moins de 20 ingénieurs clés. Pour diverses raisons, l'algorithme de ChatGPT n'a jamais été publié en open source, et son statut à but non lucratif initial a été modifié en un modèle à profit limité. Alors que diverses applications fondées sur ChatGPT transforment la vie humaine, chaque modification du modèle peut profondément influencer des millions de personnes. Comparé au principe « Don't be evil » de Google, l'impact de ChatGPT est bien plus intrusif.
La question de la crédibilité computationnelle des modèles devient donc cruciale. Même si OpenAI adopte un statut à but non lucratif, concentrer le pouvoir entre quelques mains produit néanmoins de graves conséquences. (À titre de comparaison, même si le « End Game » d'Ethereum repose sur une seule machine productrice de blocs selon Vitalik, sa transparence sera garantie par des vérifications simples accessibles à tous.)
En outre, l'industrie des grands modèles fait face aujourd'hui à des pénuries de puissance de calcul, à l'épuisement imminent des données d'entraînement exploitables, ainsi qu'à des difficultés de partage des modèles. Jusqu'en 2021, le principal problème de l'IA était le manque de données, poussant toutes les sociétés de deep learning à rechercher des données sectorielles spécifiques. Depuis l'avènement des grands modèles, c'est désormais la puissance de calcul qui constitue l'obstacle principal.
Le développement d’un grand modèle comprend plusieurs étapes : collecte de données, prétraitement, entraînement du modèle, affinage (fine-tuning), déploiement et inférence. À travers ces étapes, examinons brièvement comment la blockchain peut contribuer aux grands modèles et contrer leurs effets excessivement centralisateurs.
-
Concernant les données, comme les données publiques seront épuisées après 2030, il faudra exploiter des données privées plus nombreuses et plus précieuses, tout en protégeant la confidentialité via la technologie blockchain ;
-
Pour l'annotation des données, des incitations par jetons peuvent mobiliser une communauté plus large pour annoter et vérifier les données ;
-
Durant l'entraînement du modèle, le partage et la collaboration permettent de mutualiser la puissance de calcul ;
-
Lors de l'affinage du modèle, des incitations par jetons favorisent la participation communautaire ;
-
Durant les requêtes et inférences utilisateur, la blockchain protège la confidentialité des données personnelles.
Plus précisément :
1) Pénurie de puissance de calcul
La puissance de calcul est un facteur essentiel de production pour les grands modèles, et le plus coûteux actuellement. Ainsi, une startup fraîchement financée doit souvent transférer 80 % de ses fonds directement à NVIDIA pour acheter des GPU. Une entreprise développant son propre modèle doit investir au minimum 50 millions USD pour construire son centre de données, tandis que les startups plus petites doivent recourir à des services cloud onéreux.
Toutefois, la frénésie récente autour des grands modèles et leur consommation colossale de ressources informatiques ont largement dépassé la capacité de production de NVIDIA. Selon les statistiques, la demande en puissance de calcul double tous les quelques mois. Entre 2012 et 2018, elle a augmenté de 300 000 fois, et le coût de calcul progresse de 31 fois par an.
Pour les entreprises internet chinoises, s'ajoute l'embargo américain sur les GPU haut de gamme.On peut donc affirmer que le coût prohibitif de l'entraînement est la raison fondamentale pour laquelle la technologie des grands modèles reste aux mains d'une poignée d'acteurs.
Comment la blockchain peut-elle aider à résoudre ce problème ?
Le processus de production d’un grand modèle comprend principalement : entraînement, affinage (fine tuning) et inférence utilisateur. Bien que l’entraînement soit extrêmement coûteux, un modèle donné n’a besoin d’être entraîné qu’une seule fois. En réalité, la majorité des besoins en puissance de calcul concernent l’inférence. AWS confirme cela : 80 % de la puissance de calcul est utilisée pour l’inférence.
Bien que l’entraînement nécessite une communication ultra-rapide entre GPU, impossible à réaliser efficacement sur un réseau (sauf en sacrifiant du temps pour réduire les coûts), l’inférence peut s’exécuter sur un seul GPU. Quant à l’affinage (fine tuning), il utilise un modèle déjà formé enrichi de données spécialisées, nécessitant donc beaucoup moins de ressources que l’entraînement complet.
En matière de rendu graphique, les GPU grand public surpassent souvent les GPU professionnels, et passent la plupart du temps inactifs. Depuis le projet SETI de l’université de Berkeley en 1999, ou Grid Computing vers 2000, certaines architectures exploitent les ressources informatiques inutilisées pour accomplir des tâches massives. Avant la blockchain, ces initiatives étaient limitées à des projets scientifiques, reposant sur l’engagement bénévole, ce qui en restreignait l’ampleur. Aujourd’hui, la blockchain permet d’étendre massivement ces usages grâce à des incitations par jetons.
Des projets comme Akash, un cloud décentralisé, ont créé un réseau de calcul généraliste où les utilisateurs peuvent déployer des modèles d’apprentissage automatique pour l’inférence ou le rendu d’images. D'autres projets combinant blockchain et IA, tels que Bittensor, Modulus Lab, Giza ou ChainML, ciblent également l’inférence.
Le protocole de calcul blockchain Gensyn et la plateforme open-source d'IA générative Together ambitionnent de créer un réseau de calcul décentralisé dédié à l'entraînement des grands modèles.
Défis : Un réseau de calcul décentralisé doit surmonter des obstacles multiples : réseau de communication lent et peu fiable, impossibilité de synchronisation des états de calcul, gestion hétérogène des types de GPU, incitations économiques, comportements frauduleux, preuve de travail, sécurité, protection de la vie privée, et résistance aux attaques par spam.
2) Rareté des données et correction des données
L'algorithme fondamental des grands modèles, l'apprentissage par renforcement à partir des retours humains (RLHF), nécessite l'intervention humaine pour affiner le modèle, corriger les erreurs, supprimer les biais et contenus nuisibles. OpenAI a utilisé RLHF pour transformer GPT-3 en ChatGPT, en recrutant des experts depuis Facebook et en payant des travailleurs kényans 2 dollars de l'heure. Ce type d'affinage nécessite souvent l'expertise humaine dans des domaines spécifiques, et peut parfaitement s'allier à des incitations par jetons pour mobiliser la communauté.
Les réseaux physiques décentralisés (DePINs) utilisent des incitations par jetons pour encourager les gens à installer des capteurs et partager des données réelles et en temps réel du monde physique, utiles à l'entraînement de modèles. Par exemple : React collecte des données de consommation d'énergie, DIMO collecte des données de conduite automobile, WeatherXM collecte des données météorologiques, et Hivemapper utilise des incitations pour cartographier les routes et faire annoter les panneaux de signalisation, améliorant ainsi la précision de ses algorithmes RLHF.
Par ailleurs, avec l'augmentation des paramètres des grands modèles, les données publiques seront épuisées vers 2030. Le progrès futur dépendra donc de données privées, dix fois plus nombreuses que les données publiques, mais dispersées entre entreprises et particuliers, et soumises à des contraintes de confidentialité, ce qui rend leur utilisation difficile. Cela crée un dilemme : d’un côté, les grands modèles ont besoin de données ; de l’autre, ceux qui en possèdent hésitent à les partager. Ce dilemme peut être résolu grâce aux technologies du web3.
Pour les modèles d’inférence open source, dont les besoins en calcul sont faibles, on peut télécharger le modèle là où se trouvent les données. Pour les modèles fermés ou très volumineux, les données doivent être anonymisées avant d’être envoyées au modèle. Ces méthodes incluent les données synthétiques et les preuves à divulgation nulle (zero-knowledge proofs).
Qu’il s’agisse de déplacer le modèle vers les données ou les données vers le modèle, il faut garantir l’intégrité des deux parties pour éviter les tricheries.
Défis : Bien que les incitations par jetons du web3 puissent aider, la lutte contre la fraude reste un obstacle majeur.
3) Collaboration entre modèles
Sur Civitai, la plus grande plateforme communautaire de partage de modèles d’IA artistique, les utilisateurs partagent librement leurs modèles, copiant, modifiant et adaptant facilement des modèles existants à leurs besoins.
Bittensor, jeune projet d’IA open source basé sur une double consensus blockchain, a conçu un système de modèles décentralisés incités par jetons. Grâce à un mécanisme « mixture of experts », plusieurs modèles collaborent pour résoudre un problème, avec possibilité de distillation de connaissances, permettant un partage d’information entre modèles et accélérant l’entraînement — une opportunité sans précédent pour les startups.
Autonolas, réseau unifié pour les agents autonomes, oracles et services hors chaîne, a conçu un cadre de collaboration où des agents atteignent un consensus via Tendermint.
Défis : De nombreux entraînements de modèles exigent toujours une communication intensive. La fiabilité et l'efficacité temporelle de l'entraînement distribué restent des obstacles majeurs.
Combinaisons innovantes entre grands modèles et Web3
Nous avons vu comment le web3 peut résoudre certains problèmes des grands modèles. La convergence de ces deux forces donnera naissance à des applications innovantes.
1) Utiliser ChatGPT pour écrire des contrats intelligents
Un artiste NFT, sans aucune connaissance en programmation, a récemment utilisé des prompts pour que ChatGPT lui génère un contrat intelligent et lance son propre jeton, Turboner. Il a documenté toute la semaine de création sur YouTube, inspirant ainsi d’autres à utiliser ChatGPT pour créer des contrats intelligents.
2) Paiements cryptographiques pour une gestion intelligente
Les assistants intelligents, rendus bien plus performants par les grands modèles, combinés aux paiements cryptographiques, pourront orchestrer davantage de ressources sur un marché décentralisé. AutoGPT montre qu’avec une carte bancaire fournie, il peut acheter des ressources cloud ou réserver des billets d’avion. Mais ses capacités sont limitées par les connexions automatiques ou l’authentification sécurisée. Les systèmes multi-agents (MAS), comme le Contract Net Protocol, prévoient la collaboration ouverte entre plusieurs assistants. Avec un soutien par jetons, cette collaboration franchirait le stade limité de la confiance individuelle pour devenir une coopération économique de grande ampleur, similaire à la transition de la société primitive vers la société monétaire.
3) zkML (Machine Learning à Divulgation Nulle)
La technologie zkp (preuve à divulgation nulle) sert dans la blockchain à deux fins : améliorer les performances en déplaçant les calculs hors chaîne puis en les vérifiant via zkp, ou protéger la confidentialité des transactions. Appliquée aux grands modèles, la zkp permet de prouver l’intégrité des calculs (cohérence et authenticité) et de protéger la confidentialité des données d’entraînement. Dans un environnement décentralisé, le fournisseur de modèle doit prouver au client que le modèle vendu est bien celui promis, sans raccourcis. Pour les partenaires de données, il faut participer à l’entraînement sans compromettre leur vie privée. Bien que la zkp ouvre des pistes, des défis subsistent : le calcul homomorphe et la computation confidentielle fédérée restent peu matures.
Solutions basées sur l’architecture BEC (Blockchain Edge Client)
Outre les approches précédentes, une autre tendance, sans incitation par jetons ni usage intensif de blockchain, passe inaperçue.
L’architecture BEC présente de fortes similitudes conceptuelles avec le Web5 proposé par Jack Dorsey et le projet Solid de Tim Berners-Lee.
Elle repose sur les principes suivants :
-
Chaque individu dispose d’un nœud périphérique (edge node) personnel ;
-
La majorité des traitements et stockages doivent avoir lieu sur ces nœuds périphériques ;
-
La collaboration entre nœuds personnels s’effectue via la blockchain ;
-
Les communications entre nœuds se font en pair-à-pair (P2P) ;
-
Chaque personne contrôle entièrement son nœud ou peut le déléguer à un tiers de confiance (relay server dans certains cas) ;
-
Ce système maximise la décentralisation.
Lorsque ce nœud personnel, contrôlé par l’individu, stocke ses données et exécute un grand modèle, il devient un agent intelligent personnalisé, offrant une protection totale de la vie privée. Le Dr Gong Ting, cofondateur chinois de SIG, compare poétiquement ce futur nœud personnel au nuage personnel qui suit constamment Olaf, le bonhomme de neige, dans « La Reine des Neiges ».
Ainsi, l’avatar du métavers ne sera plus simplement une image pilotée au clavier, mais un véritable agent doté d’une âme, capable d’apprendre en continu les actualités, traiter les courriels, et même répondre automatiquement aux messages sociaux (attention aux copines bavardes : bientôt, vous devrez peut-être vérifier si votre petit ami ne délègue pas ses conversations à un agent). Quand votre agent a besoin d’une nouvelle compétence, vous pouvez installer une nouvelle application sur votre nœud, comme sur un smartphone.
Conclusion
Historiquement, malgré la naissance de licornes de plus en plus rapide avec l’évolution d’internet, la centralisation croissante des plateformes nuit fondamentalement à l’écosystème entrepreneurial.
Grâce aux plateformes efficaces de diffusion de contenu de Google et Facebook, YouTube, fondée en 2005, a été rachetée par Google pour 1,6 milliard USD seulement un an plus tard.
Grâce à l’App Store d’Apple, Instagram, créée en 2012 avec une dizaine de salariés, a été acquise par Facebook pour 1 milliard USD la même année.
Avec le soutien du grand modèle ChatGPT, Midjourney, composée de seulement 11 personnes, a généré 100 millions USD de revenus en un an. OpenAI, avec moins de 100 employés, est valorisée à plus de 20 milliards USD.
Les grandes plateformes internet deviennent de plus en plus puissantes. L’émergence des grands modèles n’a pas changé cette domination oligarchique. Les trois piliers — algorithme, données, puissance de calcul — restent monopolisés par les géants technologiques. Les startups ne peuvent ni innover sur les grands modèles, ni disposer des moyens pour les entraîner, se limitant aux applications verticales. Bien que les grands modèles semblent démocratiser les connaissances, le vrai pouvoir reste entre les mains de moins de 100 personnes capables de produire ces modèles.
Si demain les grands modèles imprègnent tous les aspects de la vie — alimentation, santé, e-mails professionnels, courriers juridiques — alors théoriquement, modifier subrepticement quelques paramètres suffirait à bouleverser des millions d’existences. Le chômage causé par les IA pourrait être compensé par un revenu universel (UBI) ou Worldcoin, mais les risques de manipulation par un pouvoir centralisé sont bien plus graves. Tel était pourtant l’objectif initial d’OpenAI. Bien qu’elle ait résolu le problème de la motivation lucrative via un statut à but non lucratif, comment régler celui de la concentration du pouvoir ? Il est évident que les grands modèles sont entraînés à partir de connaissances gratuites accumulées pendant des décennies sur internet, mais ces modèles sont désormais captifs d’une élite.
En somme, les grands modèles et la blockchain incarnent des valeurs antagonistes. Les acteurs du web3 doivent s’impliquer dans l’innovation des grands modèles et appliquer leurs technologies pour en corriger les dérives.Si les données massives disponibles gratuitement sur internet constituent un savoir collectif humain, alors les grands modèles issus de ces données devraient appartenir à l’humanité tout entière. Comme OpenAI commence à payer des bases de données académiques, elle devrait aussi rémunérer chacun d’entre nous pour nos blogs personnels mis à disposition.
Bienvenue dans la communauté officielle TechFlow
Groupe Telegram :https://t.me/TechFlowDaily
Compte Twitter officiel :https://x.com/TechFlowPost
Compte Twitter anglais :https://x.com/BlockFlow_News
