a16z dialogue avec une licorne star de l'IA : quelle sera l'évolution future des grands modèles ?
TechFlow SélectionTechFlow Sélection
a16z dialogue avec une licorne star de l'IA : quelle sera l'évolution future des grands modèles ?
Des investisseurs d'a16z ont discuté des orientations futures des LLM avec les PDG de quatre jeunes entreprises innovantes spécialisées dans l'IA.
Dédié à des analyses Web3 approfondiesLes investisseurs d'a16z ont discuté avec quatre PDG de jeunes entreprises innovantes en IA des orientations futures du développement des grands modèles linguistiques (LLM).
Parmi eux : Dario Amodei, PDG d'Anthropic ; Aidan Gomez, PDG de Cohere ; Noam Shazeer, PDG de Character.AI ; et Yoav Shoham de AI21 Labs.
Ils ont identifié quatre axes fondamentaux :
-
Réduire au maximum le problème des hallucinations, garder fermement le contrôle
-
Résoudre les besoins de personnalisation grâce à des solutions de mémoire plus vastes et précises
-
Passer de la connaissance au raisonnement puis à l'action, apprendre aux modèles à utiliser des outils
-
La multimodalité, pour doter les modèles de véritables capacités universelles
Le défi des « hallucinations » garder le contrôle
En raison du phénomène d’« hallucination » encore présent dans les grands modèles, de nombreux entrepreneurs restent prudents quant à l’intégration des LLM dans leurs produits ou flux de travail.
Pour y remédier, les entreprises spécialisées dans les modèles fondamentaux travaillent activement à améliorer la maîtrise des sorties des LLM. Elles appellent cette capacité steering (contrôle ou orientation), consistant à se concentrer sur la sortie du modèle et à l’aider à mieux comprendre et exécuter des demandes complexes des utilisateurs.
Le PDG de Character.AI, Shazeer, compare les LLM à des enfants : « C’est une question d’apprentissage de la conduite du modèle. Nous avons besoin de méthodes appropriées pour indiquer aux modèles comment faire ce que nous souhaitons. Les enfants aussi parfois inventent des histoires, ils ne maîtrisent pas toujours bien la frontière entre fantasme et réalité. »
Des recherches et outils comme Guardrails ou LMQL ont déjà vu le jour, mais les travaux se poursuivent. a16z considère que cette direction est essentielle pour permettre aux développeurs de concrétiser pleinement les applications basées sur les LLM.
Pour les entreprises, améliorer le steering est crucial. Selon Amodei, fondateur et PDG d'Anthropic, l’imprévisibilité des LLM inquiète. En tant que fournisseur d’API, il souhaite pouvoir dire aux utilisateurs : « Non, le modèle ne fera pas cela », ou du moins « Très rarement ».
En améliorant la sortie des LLM, les développeurs gagneront davantage de confiance dans l’adéquation entre les performances du modèle et les attentes des clients.
L’amélioration du steering bénéficiera également à d'autres secteurs nécessitant précision et fiabilité, comme la publicité.
« Dans des contextes juridiques, médicaux, de gestion d’épargne ou de risques financiers, ou là où il s’agit de protéger l’image de marque d’une entreprise, on ne veut certainement pas utiliser une technologie imprévisible, difficile à anticiper ou à décrire. »
Grâce à un meilleur steering, les LLM pourront accomplir des tâches plus complexes avec moins d’ingénierie de prompts, car ils comprendront mieux l’intention de l’utilisateur.
Un meilleur contrôle des sorties des LLM ouvrira aussi la voie à des applications sensibles en B2C. Les utilisateurs attendent des réponses personnalisées et exactes.
Bien qu’un utilisateur tolère parfois des réponses approximatives lorsqu’il dialogue avec un LLM ou crée du contenu créatif, il espère des sorties plus précises lorsqu’il utilise un LLM pour l’aider à prendre des décisions importantes, ou pour jouer le rôle de coach de vie, de thérapeute ou de médecin.
Les LLM peuvent-ils vraiment remplacer des outils profondément ancrés dans l’ère internet comme la recherche ? Peut-être que cela dépendra précisément de leur capacité à maîtriser le steering, à améliorer leurs sorties et à gagner la confiance des utilisateurs.
Le défi de la « mémoire » objectif : la personnalisation
La capacité de contexte (context) est un point faible urgent à résoudre, car elle limite la « personnalisation ».
Bien que les techniques de prompt et de fine-tune permettent une certaine personnalisation, la première n’est pas facilement scalable, tandis que la seconde est trop coûteuse, nécessitant un réentraînement complet et souvent une collaboration étroite avec les fournisseurs de LLM fermés. Ce qui est presque impossible pour les petites équipes ou les utilisateurs individuels.
Apprendre au LLM à partir du contenu d’une entreprise, de son jargon ou d’un contexte spécifique est la « sainte graille » : cela permettrait de produire des sorties plus fines et adaptées à des cas d’usage particuliers.
Pour libérer cette capacité contextuelle, les LLM ont besoin d’une mémoire renforcée.
La mémoire d’un LLM comprend deux composantes principales : la fenêtre de contexte (context windows) et la récupération (retrieval).
La fenêtre de contexte désigne le texte fourni au modèle en plus des données d’entraînement, afin qu’il traite ces informations et produise une réponse.
La récupération consiste à extraire et à consulter des documents ou données contextuelles situés en dehors du corpus d’entraînement du modèle.
Actuellement, la plupart des LLM ont une fenêtre de contexte limitée et ne peuvent pas récupérer localement d’autres informations, ce qui limite leur capacité à produire des contenus personnalisés. Mais grâce à une fenêtre de contexte plus large et à une meilleure récupération, les LLM pourront fournir directement des réponses plus fines et adaptées à chaque situation.
En particulier, en étendant la fenêtre de contexte, les modèles pourront traiter davantage de texte et mieux maintenir la continuité du contexte pendant une conversation.
Cela améliorera considérablement leur capacité à exécuter des tâches nécessitant une compréhension approfondie ou des entrées longues, comme résumer un long document ou générer des réponses cohérentes et contextuellement pertinentes dans une conversation prolongée.
Les progrès sont en cours : GPT-4 dispose de fenêtres de contexte de 8k et 32k, alors que GPT-3.5 et ChatGPT sont limités à 4k et 16k tokens.
Claude a récemment étendu sa capacité de contexte à 100k tokens.
Mais étendre simplement la longueur du contexte n'améliore pas suffisamment la mémoire, car le coût et le temps de calcul augmentent presque linéairement, voire quadratiquement, avec la longueur du contexte.
Le mécanisme de récupération complète le corpus d’entraînement initial du LLM en y ajoutant les données contextuelles les plus pertinentes. Comme le souligne Yoav Shoham, fondateur d’AI21 Labs : « Premièrement, cela vous permet d’accéder à des sources d’information non disponibles lors de l’entraînement ; deuxièmement, cela aide le modèle à se concentrer sur les informations liées à la tâche. »
Les bases de données vectorielles sont devenues la norme de facto pour une récupération efficace d’informations, servant de couche mémoire aux grands modèles, leur permettant de rechercher plus vite, plus loin et plus précisément les bonnes données parmi d’immenses volumes d’information.
Une fenêtre de contexte étendue et un mécanisme de récupération performant seront extrêmement précieux pour les usages professionnels, par exemple lors de la consultation de grandes bases de connaissances ou de bases de données complexes. Les entreprises pourront mieux exploiter leurs données propriétaires — savoir interne, historique des clients ou résultats financiers — comme entrée pour les grands modèles, sans avoir à effectuer de fine-tuning.
L’amélioration de la mémoire des grands modèles apportera des gains significatifs dans des domaines tels que la formation, la production de rapports, la recherche interne, l’analyse de données, le business intelligence et le support client, avec des capacités de personnalisation poussée.
Dans le domaine grand public, une meilleure gestion du contexte et du mécanisme de récupération rendra possible des fonctionnalités de personnalisation puissantes, transformant radicalement l’expérience utilisateur.
Noam Shazeer estime que « L’une des avancées clés sera le développement d’un modèle à très haute capacité de mémoire, capable de personnalisation pour chaque utilisateur, tout en étant économiquement viable à grande échelle. Vous voulez que votre psychologue connaisse tous les aspects de votre vie ; que votre professeur sache ce que vous avez déjà appris ; que votre coach de vie puisse vous conseiller efficacement. Tout cela requiert du contexte. »
Aidan Gomez partage cet enthousiasme : « En donnant au modèle accès à vos données personnelles — e-mails, calendrier ou messages — il pourra comprendre vos relations avec différentes personnes, votre manière de communiquer avec amis ou collègues, et ainsi vous aider de façon optimale dans ce contexte. »
De la connaissance à l’action apprendre aux modèles à utiliser des outils
La véritable puissance des grands modèles réside dans le fait que le langage naturel devienne un médium d’action.
Les grands modèles possèdent une compréhension complexe des systèmes courants et bien documentés, mais ils ne peuvent pas exécuter directement les actions associées à ces informations.
Par exemple, ChatGPT d’OpenAI, Claude d’Anthropic ou Lily de Character AI peuvent décrire en détail comment réserver un vol, mais ils ne peuvent pas réserver le vol eux-mêmes (bien que des solutions comme les plugins de ChatGPT commencent à combler ce manque).
Amodei explique : « Théoriquement, un grand modèle a un cerveau rempli de toutes ces connaissances, mais il lui manque la correspondance entre les instructions (nommer une action) et leur exécution concrète (appuyer sur un bouton). Connecter différents composants ne demande pas beaucoup d’entraînement. Le modèle est comme un cerveau sans corps : il connaît théoriquement comment agir, mais il lui manque les outils d’exécution, comme des mains et des pieds non connectés. »
Nous voyons déjà plusieurs entreprises améliorer progressivement la capacité des grands modèles à utiliser des outils. De grands acteurs comme Bing et Google, ainsi que des startups comme Perplexity et You.com, ont intégré des API de recherche. AI21 Labs a lancé Jurassic-X, qui combine le modèle avec une série d’outils prédéfinis (calculatrice, API météo, API Wikipédia, base de données) pour corriger de nombreuses limites des grands modèles isolés.
OpenAI a introduit des plugins permettant à ChatGPT d’interagir avec des outils comme Expedia, OpenTable, Wolfram, Instacart, Speak, le navigateur web et l’interpréteur de code. Cette percée a été comparée au moment « App Store » d’Apple. Récemment, OpenAI a également introduit la fonction d’appel de fonctions dans GPT-3.5 et GPT-4, permettant aux développeurs de lier les capacités de GPT à n’importe quel outil externe.
En pivotant de l’extraction de connaissances vers une orientation action, on peut potentiellement équiper les modèles de « mains » et de « pieds », ouvrant une myriade de nouveaux scénarios d’usage pour les entreprises et les utilisateurs.
Pour les consommateurs, les grands modèles pourraient bientôt proposer une recette, puis commander automatiquement les ingrédients, ou suggérer un lieu pour le brunch et réserver une table.
Pour les entreprises, les fondateurs peuvent rendre leurs applications plus accessibles en les intégrant aux grands modèles.
Comme le souligne Amodei : « Pour des fonctionnalités très difficiles à utiliser via l’interface utilisateur, nous pourrions désormais les activer simplement en les décrivant en langage naturel. »
Par exemple, pour une application comme Salesforce, l’intégration d’un grand modèle pourrait permettre à l’utilisateur de demander une mise à jour en langage naturel, et le modèle effectuerait automatiquement les modifications correspondantes, réduisant ainsi drastiquement le temps nécessaire à la maintenance du CRM. Des startups comme Cohere et Adept travaillent activement à intégrer les grands modèles dans ces outils complexes.
Gomez pense que même si, dans deux ans, les grands modèles pourraient utiliser des applications comme Excel, de nombreuses améliorations restent nécessaires.
« Nous aurons une première génération de modèles capables d’utiliser des outils — fascinante mais encore fragile. À terme, nous atteindrons un système idéal où l’on pourrait donner n’importe quel logiciel au modèle, avec une description du type “voici les fonctions de cet outil, voici comment l’utiliser”, et le modèle serait capable de l’utiliser. Dès que nous pourrons doter les grands modèles d’outils spécifiques et généraux, l’automatisation qu’ils libéreront deviendra le produit vedette de leur domaine. »
Multimodalité les modèles linguistiques ne sont pas de vrais modèles universels
Bien que l’interface conversationnelle soit très intuitive pour de nombreux utilisateurs, les gens entendent et parlent bien plus souvent qu’ils ne lisent ou n’écrivent.
Comme le souligne Amodei : « Les systèmes d’IA ont des capacités limitées, car tout n’est pas du texte. »
Les modèles multimodaux, capables de traiter et de générer de manière fluide plusieurs formats audio ou visuels, permettent d’étendre l’interaction au-delà du langage.
Des modèles comme GPT-4, Character.AI ou ImageBind de Meta peuvent déjà traiter et générer des images, du son et d’autres modalités, mais la qualité reste encore assez basique (même si les modèles s’améliorent constamment).
Comme le dit Gomez : « Nos modèles ont encore des lacunes dans le traitement direct des informations visuelles — cela doit être amélioré. Nous avons construit de nombreuses interfaces graphiques (GUI), mais elles supposent que l’utilisateur peut les voir. »
À mesure que les grands modèles évoluent, leurs capacités multimodales se renforceront, tant en compréhension qu’en interaction. Ils pourront ainsi utiliser des applications existantes comme les navigateurs, qui reposent sur des interfaces graphiques. Ils offriront aux utilisateurs des expériences plus immersives, connectées et complètes, allant au-delà de la simple interface conversationnelle.
Shazeer ajoute : « L’intégration de modèles multimodaux rend l’expérience plus intéressante et plus connectée à l’utilisateur. » Il poursuit : « Je crois que l’intelligence principale vient encore surtout du texte, mais l’audio et la vidéo enrichissent fortement l’expérience. » Du tutorat vidéo avec une IA à la co-écriture d’un scénario, la multimodalité a le potentiel de transformer le divertissement, l’apprentissage, le développement personnel et la création de contenu, dans des contextes grand public comme professionnels.
La multimodalité est aussi étroitement liée à l’utilisation d’outils. Bien que les grands modèles soient initialement connectés à des logiciels externes via des API, la multimodalité leur permettra d’utiliser des outils conçus pour les humains, sans intégration personnalisée — comme les anciens systèmes de planification des ressources d’entreprise (ERP), les applications bureautiques, les équipements médicaux ou les machines industrielles.
Sur ce sujet, des avancées prometteuses ont déjà été réalisées : par exemple, le modèle Med-PaLM-2 de Google peut analyser des mammographies et des radios. Et à long terme, la multimodalité, notamment combinée à la vision par ordinateur, permettra d’étendre les grands modèles au monde physique via la robotique, la conduite autonome et d’autres applications nécessitant une interaction en temps réel avec le monde réel.
Bien que les grands modèles aient des limites, les chercheurs ont réalisé en peu de temps des améliorations stupéfiantes — au point que, depuis la rédaction de cet article, nous avons dû le mettre à jour plusieurs fois, preuve de l’évolution rapide de cette technologie.
Gomez abonde dans ce sens : « Une probabilité de 1 sur 20 que le modèle invente des faits est clairement trop élevée. Mais j’ai confiance : c’est la première fois que nous construisons de tels systèmes. Les attentes sont très hautes, passant de “l’ordinateur est trop bête pour ne faire que des calculs” à “il doit faire mieux qu’un humain”. Nous avons réussi à réduire l’écart homme-machine au point que les critiques portent désormais sur la capacité des ordinateurs à atteindre le niveau humain. »
Nous sommes particulièrement enthousiastes à propos de ces quatre innovations, qui vont transformer la manière dont les entrepreneurs construisent leurs produits et gèrent leurs entreprises. À long terme, le potentiel est encore plus vaste.
Amodei prévoit : « À un moment donné, nous pourrions disposer d’un modèle capable, en lisant toutes les données biologiques, de trouver un traitement contre le cancer. »
En réalité, les meilleures nouvelles applications restent encore inconnues.
Chez Character.AI, Shazeer laisse les utilisateurs explorer ces cas d’usage : « Nous verrons émerger de nombreuses nouvelles applications. Je suis incapable de les nommer précisément. Il y en aura des milliers, et la plupart des utilisateurs sauront mieux que quelques ingénieurs comment tirer parti de cette technologie. »
Nous attendons avec impatience les profondes transformations que ces progrès apporteront à nos façons de vivre et de travailler, permettant aux entrepreneurs et aux entreprises de tirer pleinement parti de ces nouveaux outils et capacités.
Bienvenue dans la communauté officielle TechFlow
Groupe Telegram :https://t.me/TechFlowDaily
Compte Twitter officiel :https://x.com/TechFlowPost
Compte Twitter anglais :https://x.com/BlockFlow_News
