Variant, partenaire en investissement : les défis et percées de l'IA open source, pourquoi la technologie cryptographique est-elle la pièce manquante ?
TechFlow SélectionTechFlow Sélection
Variant, partenaire en investissement : les défis et percées de l'IA open source, pourquoi la technologie cryptographique est-elle la pièce manquante ?
En combinant l'IA open source et la technologie cryptographique, il est possible de soutenir le développement de modèles à plus grande échelle, de stimuler davantage d'innovations et ainsi de créer des systèmes d'IA plus avancés.
Dédié à des analyses Web3 approfondiesAuteur : Daniel Barabander
Traduction : TechFlow
Résumé
-
Le développement actuel de l'IA fondamentale est dominé par quelques grandes entreprises technologiques, ce qui crée un écosystème fermé et dépourvu de concurrence.
-
Bien que le logiciel open source soit une solution potentielle, l'IA fondamentale ne peut pas fonctionner comme un projet open source traditionnel (par exemple Linux), car elle fait face à un « problème des ressources » : les contributeurs doivent non seulement consacrer du temps, mais aussi supporter des coûts en calcul et en données largement supérieurs à leurs capacités individuelles.
-
La technologie blockchain peut résoudre ce problème des ressources en incitant les fournisseurs de ressources à participer aux projets d’IA open source.
-
En combinant l'IA open source avec la technologie blockchain, il devient possible de développer des modèles plus puissants, d'accélérer l'innovation et de créer des systèmes d'IA plus avancés.
Introduction
Selon une étude menée en 2024 par le Pew Research Center, 64 % des Américains pensent que les réseaux sociaux ont plus d'effets négatifs que positifs sur leur pays ; 78 % jugent que les entreprises de réseaux sociaux détiennent trop de pouvoir et d'influence politique ; 83 % croient que ces plateformes sont susceptibles de censurer intentionnellement les opinions politiques qu'elles désapprouvent. Le mécontentement vis-à-vis des réseaux sociaux est presque devenu un rare point de consensus dans la société américaine.
En repassant en revue les vingt dernières années d'évolution des réseaux sociaux, cette situation semblait inévitable. L’histoire n’est pas compliquée : quelques grandes entreprises technologiques ont capté l'attention des utilisateurs, et surtout, contrôlé leurs données. Malgré un début prometteur d'ouverture, ces entreprises ont rapidement changé de stratégie, exploitant les données pour créer des effets de réseau infranchissables et bloquant tout accès extérieur. Résultat : moins de dix géants technologiques dominent aujourd’hui l’industrie des réseaux sociaux, créant un régime d’« oligopole ». Cette situation leur étant extrêmement favorable, elles n’ont pratiquement aucun intérêt à la modifier. Ce modèle est fermé et dénué de concurrence.
Aujourd’hui, l’évolution de l’IA semble reproduire exactement ce scénario, mais avec des enjeux encore plus élevés. Quelques grandes entreprises technologiques, en contrôlant les GPU et les données, construisent des modèles d’IA fondamentaux et ferment l’accès à ces modèles. Pour tout nouvel entrant sans dizaines de milliards de dollars, développer un modèle concurrentiel est presque impossible. En effet, le coût de calcul nécessaire pour entraîner un seul modèle fondamental s’élève déjà à plusieurs milliards de dollars. Les entreprises de réseaux sociaux ayant profité de la vague technologique précédente exploitent désormais leurs données propriétaires pour créer des modèles que leurs rivaux ne peuvent espérer imiter. Nous sommes en train de répéter les erreurs du passé, en nous dirigeant vers un monde de l’IA fermé et sans concurrence. Si cette tendance se poursuit, un petit nombre d’entreprises technologiques exerceront un contrôle illimité sur l’accès à l’information et aux opportunités.
IA open source et le « problème des ressources »
Si nous souhaitons éviter un tel avenir fermé pour l’IA, quelles sont nos options ? La réponse évidente est de développer les modèles fondamentaux comme des projets logiciels open source. Historiquement, de nombreux projets open source ont réussi à construire des logiciels fondamentaux que nous utilisons quotidiennement. Par exemple, le succès de Linux prouve que même un logiciel centralisé comme un système d’exploitation peut être développé en mode open source. Alors pourquoi les LLMs (modèles linguistiques massifs) seraient-ils différents ?
Toutefois, les modèles d’IA fondamentaux font face à des contraintes spécifiques qui les distinguent des logiciels traditionnels, ce qui limite fortement leur faisabilité en tant que projets open source classiques. Plus précisément, ils nécessitent des ressources colossales en calcul et en données, bien au-delà des capacités individuelles. Contrairement aux projets open source classiques, qui reposent uniquement sur le don de temps, l’IA open source exige également le don de puissance de calcul et de données. C’est ce qu’on appelle le « problème des ressources ».
Prenons l’exemple du modèle LLaMa de Meta pour mieux comprendre ce problème. Contrairement à OpenAI ou Google, Meta n’a pas caché son modèle derrière une API payante, mais a publié librement les poids du modèle LLaMa (avec certaines restrictions). Ces poids contiennent les connaissances acquises par le modèle durant l’entraînement chez Meta, et sont indispensables pour faire fonctionner le modèle. Grâce à eux, les utilisateurs peuvent adapter le modèle ou utiliser ses sorties comme entrées pour de nouveaux modèles.
Bien que la publication des poids de LLaMa par Meta soit louable, cela ne constitue pas véritablement un projet logiciel open source. Meta contrôle seul le processus d’entraînement, utilise ses propres ressources de calcul et de données, et décide unilatéralement quand publier le modèle. Il n’invite pas les chercheurs indépendants ni les développeurs à collaborer collectivement, car les ressources nécessaires à l’entraînement ou au ré-entraînement dépassent largement les moyens d’un individu. Ces ressources incluent des dizaines de milliers de GPU haut de gamme, les centres de données qui les hébergent, des systèmes complexes de refroidissement, ainsi que des trillions de tokens (unités textuelles) pour l’entraînement. Comme le souligne le Rapport 2024 sur l’intelligence artificielle de Stanford, « l’augmentation spectaculaire des coûts d’entraînement exclut de facto les universités, traditionnellement pionnières en recherche IA, du développement des meilleurs modèles fondamentaux ». Par exemple, Sam Altman a estimé le coût d’entraînement de GPT-4 à 100 millions de dollars, sans compter les dépenses en infrastructure matérielle. De plus, Meta a augmenté ses dépenses en capitaux de 2,1 milliards de dollars au deuxième trimestre 2024 par rapport à l’année précédente, principalement pour des serveurs, centres de données et infrastructures réseau liés à l’entraînement de modèles d’IA. Ainsi, même si les contributeurs communautaires de LLaMa possèdent les compétences techniques pour améliorer l’architecture du modèle, ils manquent cruellement des ressources nécessaires pour implémenter ces améliorations.
En résumé, contrairement aux projets logiciels open source traditionnels, les projets d’IA open source exigent non seulement du temps, mais aussi des coûts élevés en calcul et en données. Compter uniquement sur la bonne volonté et l’esprit de bénévolat pour mobiliser suffisamment de fournisseurs de ressources n’est pas réaliste. Ils ont besoin de mécanismes d’incitation supplémentaires. Prenons l’exemple du modèle open source BLOOM, un modèle de 176 milliards de paramètres conçu grâce aux efforts coordonnés de 1 000 chercheurs bénévoles provenant de plus de 70 pays et 250 institutions. Bien que le succès de BLOOM soit admirable (et que je soutienne pleinement cette initiative), sa coordination a pris un an pour un seul entraînement, et a dépendu d’un financement public de 3 millions d’euros fourni par un organisme de recherche français (sans compter les coûts en capital liés à l’utilisation d’un superordinateur). Dépendre d’une nouvelle levée de fonds pour chaque itération rend ce processus trop lent comparé à la cadence des grands laboratoires technologiques. Plus de deux ans après la sortie de BLOOM, aucune suite significative n’a été annoncée par l’équipe.
Pour que l’IA open source devienne viable, nous devons trouver un moyen d’inciter les fournisseurs de ressources à contribuer leur puissance de calcul et leurs données, plutôt que de laisser les contributeurs open source assumer ces coûts eux-mêmes.
Pourquoi la technologie blockchain peut résoudre le « problème des ressources » de l’IA open source
La percée fondamentale de la technologie blockchain réside dans son mécanisme de « propriété », qui permet de rendre possibles des projets logiciels open source à forte intensité de ressources. Elle résout le problème des ressources en incitant les fournisseurs potentiels à participer au réseau, au lieu d’exiger que les contributeurs open source supportent préalablement ces coûts.
Bitcoin en est un excellent exemple. En tant que premier projet blockchain, Bitcoin est un logiciel entièrement open source dont le code a toujours été public. Pourtant, le code en lui-même n’est pas l’élément clé. Télécharger et exécuter un nœud Bitcoin localement pour créer une blockchain n’a aucune valeur pratique. Ce n’est que lorsque la puissance de calcul dédiée à l’extraction dépasse largement celle de tout contributeur individuel que le logiciel prend tout son sens : maintenir un registre décentralisé et incontrôlable. À l’instar de l’IA fondamentale, Bitcoin est un projet open source qui requiert des ressources dépassant les capacités individuelles. Bien que les raisons diffèrent — Bitcoin a besoin de calcul pour garantir l’inaltérabilité du réseau, tandis que l’IA fondamentale a besoin de calcul pour optimiser et itérer les modèles — leur point commun est de dépendre de ressources collectives impossibles à mobiliser seul.
Le « secret » de Bitcoin, et de tout réseau blockchain, pour inciter les participants à fournir des ressources à un projet logiciel open source, réside dans la distribution de jetons (tokens) représentant une part de propriété du réseau. Comme l’a souligné Jesse en 2020 dans l’article fondateur de Variant, la propriété offre une motivation puissante aux fournisseurs de ressources, qui acceptent de contribuer en échange d’un potentiel retour sur investissement au sein du réseau. Ce mécanisme s’apparente à la « rémunération en actions » (sweat equity) utilisée par les startups pour surmonter le manque initial de fonds : en rémunérant leurs premiers employés (comme les fondateurs) principalement par des parts sociales, les startups attirent des talents qu’elles ne pourraient autrement se permettre. La technologie blockchain étend ce concept de « rémunération en actions » des contributeurs de temps aux fournisseurs de ressources. C’est pourquoi Variant privilégie les investissements dans des projets qui utilisent ce mécanisme de propriété pour créer des effets de réseau, tels qu’Uniswap, Morpho ou World.
Si nous voulons que l’IA open source devienne réalité, alors le mécanisme de propriété permis par la blockchain constitue la solution clé au problème des ressources. Ce mécanisme permettrait aux chercheurs de proposer librement leurs idées de conception de modèles dans un cadre open source, sachant que les ressources de calcul et de données nécessaires seront fournies par des tiers. En échange, ces fournisseurs obtiendraient une part de propriété du projet, plutôt que de charger les chercheurs de coûts prohibitifs en amont. Dans le contexte de l’IA open source, la propriété peut prendre plusieurs formes, mais celle qui suscite le plus d’espoir est la propriété directe du modèle lui-même, comme proposé par Pluralis.
La méthode proposée par Pluralis s’appelle Protocol Models. Dans ce modèle, les fournisseurs de puissance de calcul participent à l’entraînement d’un modèle open source spécifique et reçoivent en échange une part des revenus futurs générés par les inférences de ce modèle. Étant donné que cette propriété est liée à un modèle particulier et que sa valeur dépend des revenus d’inférence, les fournisseurs sont incités à choisir les meilleurs modèles à entraîner, sans falsifier les données d’entraînement (car des données inutiles réduiraient directement la valeur anticipée des revenus). Une question cruciale reste cependant : comment Pluralis garantit-il la sécurité de la propriété si les poids du modèle doivent être envoyés aux fournisseurs de calcul ? La réponse réside dans l’utilisation de la « parallélisation du modèle » (model parallelism), qui découpe le modèle en fragments distribués à différents travailleurs. Une caractéristique importante des réseaux neuronaux est qu’un participant peut contribuer à l’entraînement même s’il ne connaît qu’une infime partie des poids, empêchant ainsi toute extraction complète du modèle. En outre, comme de nombreux modèles différents sont entraînés simultanément sur la plateforme Pluralis, les entraîneurs sont confrontés à une multitude de jeux de poids distincts, rendant la reconstruction d’un modèle complet extrêmement difficile.
L’idée centrale des Protocol Models est que ces modèles peuvent être entraînés et utilisés, mais ne peuvent pas être extraits intégralement du protocole (sauf à déployer une puissance de calcul supérieure à celle nécessaire pour entraîner le modèle depuis zéro). Ce mécanisme répond à une critique fréquente adressée à l’IA open source : la crainte que des acteurs fermés ne s’approprient abusivement le travail réalisé par les projets open source.
Pourquoi blockchain + open source = meilleure IA
Dans l’introduction, j’ai expliqué, à travers l’analyse du contrôle exercé par les grandes entreprises sur l’IA, les problèmes moraux et normatifs posés par une IA fermée. Mais dans une ère numérique marquée par le sentiment d’impuissance, je crains que cet argument ne touche pas assez de lecteurs. Aussi, je souhaite conclure en avançant deux arguments pratiques montrant pourquoi l’IA open source soutenue par la blockchain pourrait véritablement produire une meilleure IA.
Premièrement, la combinaison de la blockchain et de l’IA open source permet de coordonner davantage de ressources, stimulant ainsi le développement de la prochaine génération de modèles fondamentaux. Des études montrent que l’augmentation de la puissance de calcul ou des données améliore les performances des modèles, ce qui explique pourquoi la taille des modèles fondamentaux ne cesse de croître. Bitcoin illustre parfaitement le potentiel de la combinaison entre logiciel open source et technologie blockchain en matière de puissance de calcul. Il est devenu le plus grand et le plus puissant réseau informatique au monde, dépassant largement les ressources informatiques détenues par les grandes entreprises technologiques. La particularité de la blockchain réside dans sa capacité à transformer une concurrence isolée en une compétition collaborative. En incitant les fournisseurs de ressources à coopérer pour résoudre un problème commun, plutôt que de travailler séparément en dupliquant les efforts, les réseaux blockchain optimisent l’utilisation des ressources. L’IA open source soutenue par la blockchain pourra exploiter les ressources mondiales de calcul et de données pour construire des modèles bien plus vastes que ceux des IA fermées. Par exemple, Hyperbolic a déjà démontré le potentiel de ce modèle, en offrant via un marché ouvert un accès peu coûteux aux GPU, exploitant ainsi efficacement les ressources informatiques distribuées.
Deuxièmement, la combinaison de la blockchain et de l’IA open source accélérera l’innovation. Car une fois le problème des ressources résolu, la recherche en apprentissage automatique pourra retrouver son essence ouverte, itérative et innovante. Avant l’avènement des grands modèles linguistiques (LLM), les chercheurs en apprentissage automatique publiaient régulièrement leurs modèles et leurs plans reproductibles. Ces modèles utilisaient souvent des jeux de données open source et avaient des besoins de calcul relativement faibles, permettant aux chercheurs de les améliorer continuellement. C’est précisément ce processus itératif et ouvert qui a conduit à de nombreuses avancées majeures en modélisation séquentielle, comme les réseaux neuronaux récurrents (RNN), les mémoires à long court terme (LSTM) et les mécanismes d’attention, aboutissant finalement à l’architecture Transformer. Toutefois, cette dynamique de recherche ouverte a changé avec le lancement de GPT-3. OpenAI a démontré que, avec suffisamment de puissance de calcul et de données, on pouvait entraîner des modèles linguistiques capables de comprendre le langage. Cette tendance a fait exploser les seuils d’accès, excluant progressivement le milieu académique, tandis que les grandes entreprises, afin de préserver leur avantage concurrentiel, ont cessé de publier leurs architectures de modèles. Cette situation freine notre capacité à repousser les frontières de l’IA.
L’IA open source soutenue par la blockchain peut inverser cette tendance. Elle permettra aux chercheurs de nouveau d’itérer sur les modèles de pointe, et ainsi de découvrir le « prochain Transformer ». Cette combinaison ne résout pas seulement le problème des ressources, elle relance aussi la dynamique d’innovation dans le domaine de l’apprentissage automatique, ouvrant la voie à un avenir bien plus riche pour l’IA.
Bienvenue dans la communauté officielle TechFlow
Groupe Telegram :https://t.me/TechFlowDaily
Compte Twitter officiel :https://x.com/TechFlowPost
Compte Twitter anglais :https://x.com/BlockFlow_News
Variant
