Faire circuler les données : comment les projets de cryptographie peuvent-ils atténuer les goulots d'étranglement dans l'entraînement des données pour l'IA ?
TechFlow SélectionTechFlow Sélection
Faire circuler les données : comment les projets de cryptographie peuvent-ils atténuer les goulots d'étranglement dans l'entraînement des données pour l'IA ?
Dans la course à la création des modèles d'IA les plus intelligents et les plus humains, la ressource clé est les données.
Dédié à des analyses Web3 approfondiesAuteur : SHLOK KHEMANI
Traduction : TechFlow
Voyez si vous pouvez repérer toutes les références soigneusement intégrées dans l'image.
Au cours des deux dernières années, depuis qu'une startup relativement méconnue appelée OpenAI a lancé un chatbot nommé ChatGPT, l'IA est passée de l'ombre aux projecteurs. Nous sommes à un moment charnière où l'intelligence artificielle pénètre pleinement notre vie quotidienne. À mesure que la course pour contrôler cette intelligence s'intensifie, la demande en données qui alimente son développement ne cesse d'augmenter. C'est précisément le sujet de cet article.
Nous abordons ici l'ampleur et l'urgence des besoins en données des entreprises d'IA, ainsi que les problèmes auxquels elles se heurtent pour y accéder. Nous examinons comment cette demande insatiable menace Internet tel que nous l'aimons, ainsi que ses milliards de contributeurs. Enfin, nous présentons quelques startups utilisant la technologie blockchain pour proposer des solutions à ces défis.
Un point préliminaire avant d'aller plus loin : cet article est rédigé du point de vue de l'entraînement des grands modèles linguistiques (LLMs), et non de tous les systèmes d’IA. Par conséquent, j'utilise souvent les termes « IA » et « LLMs » de manière interchangeable.
La donnée exposée
Les LLMs ont besoin de trois ressources principales : la puissance de calcul, l'énergie et les données. Forts de capitaux importants, entreprises, gouvernements et startups rivalisent actuellement pour s'approprier ces ressources. Parmi les trois, la compétition autour de la puissance de calcul attire le plus l'attention, notamment grâce à la fulgurante hausse du cours de l'action NVIDIA.
L'entraînement des LLMs nécessite d'importantes quantités d'unités de traitement graphique (GPU), en particulier les A100, H100 et prochainement B100 de NVIDIA. Ces équipements informatiques ne sont pas disponibles sur Amazon ou en magasin. Leur prix peut atteindre plusieurs dizaines de milliers de dollars. C’est NVIDIA qui décide de leur allocation entre laboratoires d’intelligence artificielle, startups, centres de données et clients hyperscalers.
Dans les 18 mois suivant le lancement de ChatGPT, la demande en GPU a largement dépassé l'offre, entraînant des délais d'attente pouvant atteindre 11 mois. Toutefois, avec la fermeture de certaines startups, l'amélioration des algorithmes d'entraînement et des architectures de modèles, l’apparition de puces spécialisées par d'autres fabricants et l'augmentation de la production par NVIDIA, la dynamique offre-demande se normalise progressivement, accompagnée d’une baisse des prix.
Vient ensuite l’énergie. Faire fonctionner les GPU dans les centres de données requiert une énorme quantité d'énergie. Selon certaines estimations, d'ici 2030, les centres de données consommeront 4,5 % de l'énergie mondiale. Face à cette demande croissante qui met sous pression les réseaux électriques existants, les entreprises technologiques explorent des solutions alternatives. Amazon a récemment acquis pour 650 millions de dollars un campus de centre de données alimenté par une centrale nucléaire. Microsoft a recruté un responsable des technologies nucléaires. Sam Altman, cofondateur d’OpenAI, soutient des startups énergétiques comme Helion, Exowatt et Oklo.
Du point de vue de l'entraînement des modèles d'IA, l'énergie et la puissance de calcul sont des biens communs. Choisir un B100 plutôt qu’un H100, ou utiliser l’énergie nucléaire plutôt que fossile, peut rendre l'entraînement moins coûteux, plus rapide ou plus efficace, mais cela n’affecte pas la qualité du modèle. Autrement dit, dans la course au modèle d’IA le plus intelligent et le plus humain, l'énergie et la puissance de calcul sont des éléments de base, mais non déterminants.
La ressource clé, c’est la donnée.
James Betker, ingénieur chercheur chez OpenAI, affirme avoir entraîné plus de modèles génératifs que personne d’autre. Dans un billet, il écrit : « Entraîné suffisamment longtemps sur le même jeu de données, presque chaque modèle avec assez de poids et de temps d'entraînement finit par converger vers le même résultat. » Cela signifie que ce qui distingue un modèle d’IA d’un autre, c’est le jeu de données utilisé pour son entraînement — rien d’autre.
Quand nous parlons d’un modèle nommé « ChatGPT », « Claude », « Mistral » ou « Lambda », nous ne faisons pas référence à son architecture, aux GPU utilisés ou à l'énergie consommée, mais bien au jeu de données sur lequel il a été entraîné.
Si les données sont la nourriture de l’entraînement de l’IA, alors les modèles sont ce qu'ils mangent.
De combien de données a-t-on besoin pour entraîner un modèle génératif de pointe ? La réponse est : énormément.
GPT-4, toujours considéré comme le meilleur grand modèle linguistique plus d'un an après sa sortie, aurait été entraîné sur environ 12 billions de tokens (soit environ 9 billions de mots). Ces données proviennent du crawlage d'Internet accessible publiquement, incluant Wikipédia, Reddit, Common Crawl (un dépôt gratuit et ouvert de données web), plus d’un million d’heures de transcriptions YouTube, ainsi que des plateformes de code comme GitHub et Stack Overflow.
Et encore, ce n’est qu’un début. En IA générative existe une notion appelée « lois d’échelle Chinchilla », selon laquelle, pour un budget de calcul donné, il est plus efficace d'entraîner un modèle plus petit sur davantage de données plutôt qu’un modèle plus gros sur moins de données. Si l’on extrapole les ressources de calcul que les entreprises d’IA prévoient pour entraîner les prochaines générations de modèles (comme GPT-5 ou Llama-4), on constate qu’ils devront disposer de cinq à six fois plus de puissance de calcul, et être entraînés sur jusqu’à 100 billions de tokens.
Puisque la majeure partie des données publiques d'Internet a déjà été collectée, indexée et utilisée pour entraîner les modèles actuels, d'où viendront les nouvelles données ? C’est devenu une question de recherche frontalière pour les entreprises d’IA. Deux solutions s’offrent à elles. La première consiste à générer des données synthétiques, produites directement par des LLMs plutôt que par des humains. Toutefois, l’utilité de ces données pour améliorer l’intelligence des modèles reste à prouver.
L'autre solution consiste simplement à trouver davantage de données de haute qualité, sans recourir à la génération synthétique. Mais obtenir ces données supplémentaires est difficile, surtout lorsque les entreprises d’IA font face à des problèmes qui menacent non seulement l'entraînement des futurs modèles, mais aussi l'efficacité des modèles existants.
Le premier problème concerne les aspects juridiques. Bien que les entreprises d’IA affirment utiliser des « données accessibles publiquement », beaucoup de ces données sont protégées par des droits d'auteur. Par exemple, le jeu de données Common Crawl contient des millions d'articles du New York Times, de l’Associated Press, et d’autres œuvres soumises à copyright.
Certaines publications et créateurs poursuivent désormais les entreprises d’IA en justice pour violation de droits d’auteur et de propriété intellectuelle. Le New York Times attaque OpenAI et Microsoft, accusant ces sociétés de « copier illégalement et d’utiliser des œuvres précieuses et uniques du Times ». Un groupe de programmeurs a intenté une action collective remettant en cause la légalité de l'utilisation de code open source pour entraîner GitHub Copilot, un assistant de programmation populaire basé sur l’IA.
Des personnalités comme l’humoriste Sarah Silverman ou l’auteur Paul Tremblay ont également engagé des poursuites contre des entreprises d’IA pour utilisation non autorisée de leurs œuvres.
D'autres choisissent d’accepter le changement en collaborant avec les entreprises d’IA. L’Associated Press, le Financial Times et Axel Springer ont tous signé des accords de licence de contenu avec OpenAI. Apple explore des accords similaires avec des organisations comme Condé Nast ou NBC. Google a accepté de verser 60 millions de dollars par an à Reddit pour accéder à son API afin d’entraîner ses modèles, tandis que Stack Overflow a conclu un accord similaire avec OpenAI. Meta aurait même envisagé d’acheter directement l’éditeur Simon & Schuster.
Ces arrangements coïncident parfaitement avec le deuxième problème auquel sont confrontées les entreprises d’IA : la fermeture progressive du web ouvert.
Les forums et réseaux sociaux ont pris conscience de la valeur que représentent leurs données pour entraîner les modèles d’IA. Avant de signer un accord avec Google (et potentiellement d'autres entreprises d’IA), Reddit a commencé à facturer son API auparavant gratuite, tuant du même coup ses applications tierces populaires. Twitter a également restreint l'accès à son API et augmenté ses tarifs, Elon Musk exploitant les données de Twitter pour entraîner les modèles de sa propre entreprise d’IA, xAI.
Même les petits sites d’information, forums de fanfiction et autres niches internet où des contenus sont produits gratuitement (monétisés éventuellement via la publicité) ferment progressivement leurs portes. Internet avait été conçu comme un espace magique où chacun pouvait trouver sa tribu. Cette magie semble lentement s’évanouir.
Ces menaces juridiques, l’essor des accords multimillionnaires et la fermeture du web ouvert ont deux conséquences importantes :
-
Premièrement, la guerre des données favorise massivement les géants technologiques. Les startups et petites entreprises n’ont ni accès aux API précédemment disponibles, ni les moyens financiers d’acheter les droits d’utilisation sans risque juridique. Cela accentue fortement la concentration : les riches achètent les meilleures données, créent les meilleurs modèles, et deviennent encore plus riches.
-
Deuxièmement, le modèle économique des plateformes de création de contenu devient de plus en plus défavorable aux utilisateurs. Des plateformes comme Reddit ou Stack Overflow reposent sur des millions de contributeurs humains non rémunérés. Pourtant, lorsqu’elles signent des accords de plusieurs millions de dollars avec des entreprises d’IA, elles ne rémunèrent ni ne consultent jamais les utilisateurs, sans qui aucune donnée ne serait disponible.
Reddit et Stack Overflow ont tous deux connu de graves mouvements de grève suite à ces décisions. La Federal Trade Commission (FTC) enquête également sur Reddit concernant la vente, la licence et le partage de publications utilisateur à des tiers pour entraîner des modèles d’IA .
Ces questions soulèvent des enjeux cruciaux tant pour l'entraînement des prochains modèles d’IA que pour l’avenir du contenu en ligne. Dans l’état actuel, l’avenir paraît peu prometteur. La technologie blockchain pourrait-elle offrir, ne serait-ce qu’en partie, des opportunités équitables aux petites entreprises et aux utilisateurs d’Internet, en résolvant certains de ces problèmes ?
Le pipeline des données
Entraîner des modèles d’IA et créer des applications utiles sont des tâches complexes et coûteuses, nécessitant des mois de planification, d’allocation de ressources et d’exécution. Ce processus comporte plusieurs étapes, chacune ayant des objectifs et des besoins en données différents.
Décomposons-les pour comprendre comment la blockchain s’inscrit dans le puzzle global de l’IA.
Pré-entraînement
Le pré-entraînement est la première étape du processus d’entraînement des LLMs, et la plus exigeante en ressources. Il constitue la base du modèle. À cette étape, le modèle d’IA est entraîné sur une vaste masse de texte non étiqueté afin d’acquérir une connaissance générale du monde et des usages linguistiques. Quand on dit que GPT-4 a été entraîné sur 12 billions de tokens, cela fait référence aux données utilisées durant cette phase.
Pour comprendre pourquoi le pré-entraînement est fondamental, examinons brièvement le fonctionnement des LLMs. Ceci est une explication simplifiée ; vous trouverez des analyses plus approfondies dans l'excellent article de Jon Stokes, la vidéo captivante d’Andrej Karpathy ou le brillant essai de Stephen Wolfram.
Les LLMs utilisent une technique statistique appelée « Next-Token Prediction ». En termes simples, étant donné une séquence de tokens (mots), le modèle tente de prédire le token suivant le plus probable. Ce processus se répète, formant une réponse complète. On peut donc voir les grands modèles linguistiques comme des « machines à compléter ».
Illustrons cela par un exemple.
Quand je demande à ChatGPT « What direction does the sun rise from ? », il commence par prédire « the », puis successivement « sun rises from the East ». D’où viennent ces prédictions ? Comment ChatGPT sait-il que « the East » est plus statistiquement plausible que « the West », « the North » ou « Amsterdam » après « the sun rises from » ?
La réponse : apprendre des motifs statistiques à partir de vastes jeux de données de haute qualité. En considérant l’ensemble des textes présents sur Internet, quelle expression est la plus susceptible d’apparaître : « the sun rises from the East » ou « the sun rises from the West » ? La seconde peut apparaître dans des contextes spécifiques (métaphores littéraires, discussions sur Vénus…), mais globalement, la première domine.
En prédiction répétée du mot suivant, les LLMs développent une vision générale du monde (ce que l'on appelle le sens commun) et une compréhension des règles et motifs linguistiques. On peut aussi voir un LLM comme une version compressée d’Internet. Cela explique pourquoi les données doivent être à la fois volumineuses (plus de motifs possibles) et de haute qualité (meilleure précision dans l’apprentissage).
Mais comme mentionné précédemment, les entreprises d’IA manquent de données pour entraîner des modèles plus grands. La demande croît bien plus vite que la production de nouvelles données sur le web ouvert. Avec les menaces juridiques et la fermeture des principaux forums, elles font face à un sérieux dilemme.
Ce problème est encore plus aigu pour les petites entreprises, incapables de financer des accords multimillionnaires avec des fournisseurs de données propriétaires comme Reddit.
C’est là qu’intervient Grass, un fournisseur décentralisé de proxy résidentiels, qui entend résoudre ces problèmes de données. Ils se définissent eux-mêmes comme « la couche données de l’IA ». Commençons par comprendre ce qu’est un fournisseur de proxy résidentiels.
Internet est la meilleure source de données pour l’entraînement. Le scraping (extraction automatique) est donc la méthode privilégiée. En pratique, les logiciels de scraping sont hébergés dans des centres de données pour des raisons d’échelle, de commodité et d’efficacité. Mais les entreprises possédant des données de valeur ne veulent pas que celles-ci soient utilisées pour entraîner des modèles d’IA (sauf rémunération). Pour bloquer ces usages, elles interdisent souvent les adresses IP des centres de données connus, empêchant ainsi le scraping à grande échelle.
C’est ici que les fournisseurs de proxy résidentiels entrent en jeu. Les sites bloquent les IP des centres de données, mais pas celles des utilisateurs ordinaires comme vous et moi. Nos connexions Internet, dites « résidentielles », deviennent alors précieuses. Ces fournisseurs agrègent des millions de telles connexions pour permettre à grande échelle le scraping de données destinées aux entreprises d’IA.
Toutefois, les fournisseurs centralisés opèrent souvent de manière opaque. Ils ne révèlent pas clairement leurs intentions. S’ils savaient que leur bande passante est utilisée, les utilisateurs hésiteraient à la partager. Pire encore, ils exigeraient une compensation, réduisant ainsi les profits.
Pour protéger leurs marges, ces fournisseurs intègrent discrètement leur logiciel dans des applications gratuites très répandues : outils mobiles (calculatrices, enregistreurs vocaux), fournisseurs de VPN, voire écrans de veille de télévision. Les utilisateurs pensent profiter d’un service gratuit, alors qu’un tiers consomme leur bande passante (détail souvent caché dans les conditions d’utilisation, rarement lues).
Une partie de ces données finit par alimenter les modèles d’IA, créant de la valeur pour les entreprises.
Andrej Radonjic, ancien opérateur de proxy résidentiels, a pris conscience de l’immoralité de ces pratiques et de leur injustice envers les utilisateurs. Observant l’évolution de la blockchain, il a vu une opportunité de concevoir une solution plus équitable. C’est ainsi que Grass a été fondé fin 2022. Quelques semaines plus tard, ChatGPT était lancé, bouleversant le monde et plaçant Grass au bon endroit, au bon moment.
Contrairement aux stratégies opaques des fournisseurs centralisés, Grass informe explicitement les utilisateurs que leur bande passante servira à entraîner des modèles d’IA. En retour, ils sont directement récompensés. Ce modèle renverse la logique traditionnelle : en partageant volontairement leur bande passante et en devenant copropriétaires du réseau, les utilisateurs passent de participants passifs à contributeurs actifs, améliorant la fiabilité du réseau et bénéficiant de la valeur créée par l’IA.
La croissance de Grass est remarquable. Depuis son lancement en juin 2023, elle compte plus de 2 millions d’utilisateurs actifs installant une extension navigateur ou une application mobile pour contribuer. Cette croissance s’est faite sans coût marketing externe, grâce à un programme de parrainage très efficace.
Grass permet à diverses entreprises — grands laboratoires d’IA comme startups open source — d’accéder à des données d’entraînement à moindre coût. En parallèle, chaque utilisateur ordinaire est rémunéré pour le partage de sa connexion et participe activement à l’économie émergente de l’IA.
Outre les données brutes extraites, Grass propose des services supplémentaires à ses clients.
Premièrement, elle transforme les pages web non structurées en données structurées facilement exploitables par les modèles d’IA. Cette étape, appelée nettoyage de données, est une tâche coûteuse en ressources que les laboratoires d’IA gèrent habituellement eux-mêmes. En fournissant des jeux de données propres et structurés, Grass augmente sa valeur pour les clients. Elle forme également un LLM open source pour automatiser le processus d’extraction, de préparation et d’annotation des données.
Deuxièmement, Grass associe à chaque jeu de données une preuve irréfutable de provenance. Étant donné l’importance des données de haute qualité pour les modèles d’IA, il est crucial pour les entreprises de s’assurer que leurs jeux de données n’aient pas été manipulés par des sites malveillants ou des fournisseurs de proxy.
L’importance de ce problème a conduit à la création d’organisations comme Data & Trust Alliance, une coalition à but non lucratif regroupant plus
Bienvenue dans la communauté officielle TechFlow
Groupe Telegram :https://t.me/TechFlowDaily
Compte Twitter officiel :https://x.com/TechFlowPost
Compte Twitter anglais :https://x.com/BlockFlow_News
@Decentralisedco
