Flower AI et Vana construisent des modèles d'IA avancés sans centres de données
TechFlow SélectionTechFlow Sélection
Flower AI et Vana construisent des modèles d'IA avancés sans centres de données
Une nouvelle méthode d'entraînement participatif utilisant Internet pour développer de grands modèles linguistiques (LLMs) pourrait secouer le secteur de l'IA plus tard cette année avec un énorme modèle de 100 milliards de paramètres.
Dédié à des analyses Web3 approfondiesUne nouvelle méthode d'entraînement collaboratif pour développer des modèles linguistiques de grande taille (LLMs) via Internet pourrait secouer l'industrie de l'IA plus tard cette année avec un énorme modèle de 100 milliards de paramètres.
Des chercheurs ont utilisé des GPU répartis à travers le monde ainsi que des données publiques et privées pour entraîner un nouveau type de grand modèle linguistique (LLM), suggérant une possible rupture dans les méthodes dominantes actuelles de construction de l'intelligence artificielle. Deux jeunes entreprises, Flower AI et Vana, ont adopté une approche atypique pour co-créer ce nouveau modèle appelé Collective-1.
Flower a développé une technologie permettant de distribuer l'entraînement sur des centaines d'ordinateurs connectés via Internet. Cette technologie est déjà utilisée par certaines entreprises pour entraîner des modèles d'IA sans avoir besoin de centraliser les ressources informatiques ni les données. Vana fournit quant à elle des sources de données incluant des messages privés provenant de X, Reddit et Telegram.
À l’aune des standards modernes, la taille de Collective-1 reste relativement modeste avec 7 milliards de paramètres — combinaisons qui confèrent au modèle ses capacités — comparé aux modèles les plus avancés actuels tels que ChatGPT, Claude ou Gemini, dont le nombre de paramètres atteint des centaines de milliards. Nic Lane, scientifique en informatique à l’université de Cambridge et cofondateur de Flower AI, affirme que l’approche distribuée promet d’aller bien au-delà de l’échelle de Collective-1. Lane ajoute que Flower AI entraîne actuellement un modèle de 30 milliards de paramètres avec des données classiques, et prévoit d’entraîner plus tard cette année un autre modèle de 100 milliards de paramètres — proche de l’échelle des leaders du secteur. « Cela pourrait vraiment changer la perception que l’on a de l’IA, c’est pourquoi nous y travaillons très fort », déclare-t-il. Il précise également que sa start-up intègre désormais des images et des sons afin de créer des modèles multimodaux.
La construction distribuée de modèles pourrait aussi remettre en question les rapports de force qui structurent actuellement l’industrie de l’IA. À l’heure actuelle, les entreprises spécialisées construisent leurs modèles en combinant de grandes quantités de données d’entraînement avec une puissance de calcul concentrée dans des centres de données équipés de GPU performants reliés entre eux par des câbles fibre ultrarapides. Elles dépendent fortement de jeux de données créés en extrayant des contenus accessibles publiquement (bien que parfois protégés par le droit d’auteur), comme des sites web ou des livres.
Cette méthode signifie que seules les entreprises les plus riches ou les pays disposant de nombreux puces haut de gamme peuvent concevoir les modèles les plus puissants et les plus valorisés. Même les modèles open source, comme Llama de Meta ou R1 de DeepSeek, sont construits par des entreprises possédant de grands centres de données. L’approche distribuée pourrait permettre à de plus petites entreprises ou universités de construire des IA avancées en mutualisant diverses ressources. Ou encore, elle pourrait permettre à des pays dépourvus d’infrastructures traditionnelles de relier plusieurs centres de données afin de créer des modèles plus puissants.
Lane est convaincu que l’industrie de l’IA cherchera de plus en plus de nouvelles façons de dépasser les limites imposées par un seul centre de données. « Une approche distribuée vous permet d’étendre la puissance de calcul de manière plus élégante que ne le permet un modèle basé sur un centre de données », affirme-t-il.
Helen Toner, experte en gouvernance de l’IA au Center for Security and Emerging Technology, juge la méthode de Flower AI « intéressante et potentiellement très pertinente » pour la compétition et la gouvernance de l’IA. « Elle pourrait continuer à éprouver des difficultés à rester à la pointe, mais cela pourrait constituer une stratégie intéressante de suiveur rapide », explique Toner.
Diviser pour mieux régner
L’entraînement distribué de l’IA implique une refonte complète de la manière dont les ressources informatiques sont divisées pour construire des systèmes d’IA puissants. Créer un LLM consiste à injecter d’importantes quantités de texte dans le modèle, qui ajuste ensuite ses paramètres afin de produire des réponses utiles aux requêtes. À l’intérieur d’un centre de données, le processus d’entraînement est segmenté afin que différentes parties puissent être exécutées sur des GPU distincts, puis fusionnées périodiquement en un modèle principal.
La nouvelle méthode permet d’exécuter des tâches normalement effectuées dans de grands centres de données sur des matériels physiquement éloignés, reliés par des connexions Internet relativement lentes ou instables.
Certaines grandes entreprises explorent également l’apprentissage distribué. L’année dernière, des chercheurs de Google ont présenté un nouveau schéma de division et d’intégration des calculs appelé DIstributed PAth COmposition (DiPaCo), rendant l’apprentissage distribué plus efficace.
Pour construire Collective-1 et d’autres LLMs, Lane et ses collaborateurs académiques britanniques et chinois ont mis au point un nouvel outil nommé Photon, qui améliore l’efficacité de l’entraînement distribué. Selon Lane, Photon est plus efficace que la méthode de Google en matière de représentation, de partage et d’intégration des données d’entraînement. Ce processus est plus lent que l’entraînement classique, mais plus souple, permettant d’ajouter de nouveaux matériels pour accélérer l’entraînement.
Photon a été développé en collaboration avec des chercheurs de l’Université de postes et télécommunications de Pékin et de l’Université de Zhejiang. L’équipe a publié cet outil le mois dernier sous licence open source, permettant à quiconque d’utiliser cette méthode.
Flower AI a collaboré avec Vana pour construire Collective-1. Vana développe de nouvelles méthodes permettant aux utilisateurs de partager leurs données personnelles avec les concepteurs d’IA. Le logiciel de Vana autorise les utilisateurs à contribuer des données privées provenant de plateformes comme X ou Reddit pour l’entraînement de grands modèles linguistiques, et éventuellement à spécifier les usages autorisés, voire à tirer profit de leur contribution.
Anna Kazlauskas, cofondatrice de Vana, explique que l’objectif est de rendre disponibles des données inexploitées pour l’entraînement de l’IA, tout en offrant aux utilisateurs un meilleur contrôle sur l’utilisation de leurs informations. « Ces données ne peuvent généralement pas être intégrées aux modèles d’IA car elles ne sont pas accessibles publiquement », affirme Kazlauskas, « c’est la première fois que des données directement fournies par les utilisateurs sont utilisées pour entraîner des modèles fondamentaux, et que ces utilisateurs conservent la propriété des modèles d’IA créés à partir de leurs données. »
Mirco Musolesi, scientifique en informatique à l’University College London, indique qu’un avantage clé de l’entraînement distribué de l’IA pourrait être l’accès à de nouveaux types de données. « Étendre cette approche aux modèles de pointe permettrait à l’industrie de l’IA d’utiliser de vastes volumes de données décentralisées et sensibles sur le plan de la vie privée, par exemple dans les domaines médical ou financier, sans encourir les risques liés à la centralisation des données », explique-t-il.
Quelle est votre opinion sur l’apprentissage machine distribué ?
Bienvenue dans la communauté officielle TechFlow
Groupe Telegram :https://t.me/TechFlowDaily
Compte Twitter officiel :https://x.com/TechFlowPost
Compte Twitter anglais :https://x.com/BlockFlow_News
@willknight
