Analyse approfondie des grands modèles linguistiques par Sequoia Capital : comment les entreprises peuvent concrétiser les applications de l'intelligence artificielle
TechFlow SélectionTechFlow Sélection
Analyse approfondie des grands modèles linguistiques par Sequoia Capital : comment les entreprises peuvent concrétiser les applications de l'intelligence artificielle
Cette analyse est particulièrement importante à suivre pour les investisseurs, les entrepreneurs et les créateurs d'entreprise.
Dédié à des analyses Web3 approfondies
Sequoia Capital, l'un des principaux fonds de capital-risque au monde, continue d'occuper une place de leader dans l'innovation technologique grâce à son excellent jugement en matière d'investissement et à son vaste savoir-faire sectoriel. Récemment, Sequoia Capital a publié une analyse approfondie sur les grands modèles linguistiques (LLMs), examinant comment ces derniers stimulent l'innovation dans les entreprises, donnent naissance à de nouvelles piles technologiques et favorisent progressivement la convergence entre modèles open source et entraînement de modèles personnalisés.
Cette analyse est particulièrement importante pour les investisseurs, dirigeants et entrepreneurs. Pour les investisseurs, elle révèle quels secteurs et technologies spécifiques pourraient connaître une croissance rapide à l’avenir. Pour les chefs d’entreprise et fondateurs, elle met en lumière l’émergence des LLMs ainsi que la tendance croissante à leur personnalisation, offrant ainsi une nouvelle perspective sur la manière d’innover leurs produits via l’interaction en langage naturel.
Voici le résumé et la traduction intégrale réalisés par notre assistant intelligent ChatGPT :
Résumé :
Innovation portée par les grands modèles linguistiques (LLMs) : Des modèles comme ChatGPT stimulent l'innovation dans divers secteurs – du marketing au droit en passant par la recherche –, et un nombre croissant d'entreprises intègrent désormais l'interaction en langage naturel dans leurs produits.
L'émergence d'une nouvelle pile technologique : Cette nouvelle pile technique comprend les API de modèles linguistiques, les mécanismes de récupération d'informations et des cadres d'orchestration tels que LangChain. La tendance à utiliser des modèles open source ou à entraîner des modèles personnalisés gagne en ampleur, les entreprises souhaitant de plus en plus adapter les modèles à leurs besoins spécifiques.
Personnalisation des LLMs : Les entreprises personnalisent les LLMs soit en entraînant des modèles depuis zéro, soit en affinant des modèles de base, soit en utilisant des modèles pré-entraînés avec récupération de contexte pertinent. Cette personnalisation rend les interactions en langage naturel plus précises et pertinentes grâce aux données propres à chaque entreprise.
Convergence des piles technologiques : On s'attend à ce que, avec le temps, la pile basée sur les API de LLMs fusionne avec celle dédiée à l'entraînement de modèles personnalisés, car de plus en plus d'entreprises s'intéressent à l'entraînement et au réglage fin de leurs propres modèles. Cette convergence devrait offrir une plus grande flexibilité et adaptabilité aux applications fondées sur les modèles linguistiques.
Meilleure accessibilité pour les développeurs : Des outils comme LangChain rendent la pile technologique de plus en plus accessible aux développeurs classiques, et non plus seulement aux équipes spécialisées en apprentissage automatique. Ces outils aident à résoudre des problèmes courants, évitent le verrouillage fournisseur et encouragent une communauté de développeurs plus inclusive et diversifiée.
Traduction intégrale :
Comment les entreprises transforment-elles les applications d’intelligence artificielle en réalité
ChatGPT a déclenché une vague massive d’innovation, accélérant le développement des grands modèles linguistiques (LLMs). Un nombre croissant d’entreprises intègre désormais la puissance de l’interaction en langage naturel dans leurs produits. L’adoption des API de modèles linguistiques a provoqué une véritable révolution dans la pile technologique sous-jacente. Afin de mieux comprendre les types d’applications en cours de construction et les technologies utilisées, nous avons mené des entretiens avec 33 entreprises du réseau Sequoia, allant de jeunes startups à de grandes sociétés cotées. Nous avons eu des discussions avec elles il y a deux mois, puis à nouveau la semaine dernière, afin de bien saisir la rapidité des changements dans ce domaine.
Comme de nombreux fondateurs et développeurs sont encore en train de définir leur stratégie en matière d’intelligence artificielle, nous souhaitons partager nos observations, même si le domaine évolue très rapidement.
1. Presque toutes les entreprises du réseau Sequoia intègrent des modèles linguistiques dans leurs produits
Nous avons observé des fonctionnalités impressionnantes de complétion automatique de code (comme chez Sourcegraph, Warp, GitHub) ainsi que dans le domaine de la science des données (par exemple Hex). Nous avons vu apparaître des chatbots améliorés, utilisés non seulement pour le support client ou interne, mais aussi pour le divertissement grand public.
D'autres entreprises repensent entièrement leurs flux de travail autour de l'IA, dans des domaines tels que l'art visuel (Midjourney), le marketing (Hubspot, Attentive, Drift, Jasper, Copy, Writer), la vente (Gong), les centres d'appels (Cresta), le droit (Ironclad, Harvey), la comptabilité (Pilot), les outils de productivité (Notion), l'ingénierie des données (dbt), la recherche (Glean, Neeva), les courses alimentaires (Instacart), les paiements grand public (Klarna) ou encore la planification de voyages (Airbnb). Ce ne sont là que quelques exemples, et ils ne représentent que le début.
2. La nouvelle pile technologique de ces applications repose principalement sur les API de modèles linguistiques, la récupération d’information et l’orchestration, mais l’utilisation de solutions open source progresse également
-
Dans notre échantillon, 65 % des entreprises ont déjà déployé des applications en production, contre 50 % il y a deux mois ; les autres sont encore en phase expérimentale.
-
94 % des entreprises utilisent des API de modèles de base. Parmi celles-ci, GPT d'OpenAI domine nettement avec 91 %, bien que Anthropic ait suscité un intérêt notable au cours du dernier trimestre, atteignant 15 % (certaines entreprises utilisant plusieurs modèles simultanément).
-
88 % des entreprises considèrent que les mécanismes de récupération (comme les bases de données vectorielles) resteront une composante clé de leur pile technologique. En fournissant au modèle des informations contextuelles pertinentes, ces outils améliorent la qualité des résultats, réduisent les « hallucinations » (inexactitudes) et résolvent les problèmes liés à l’actualisation des données. Certaines entreprises utilisent des bases vectorielles spécialisées (Pinecone, Weaviate, Chroma, Qdrant, Milvus, etc.), tandis que d’autres optent pour pgvector ou des services cloud proposés par AWS.
-
38 % des entreprises s’intéressent à des cadres de développement et d’orchestration de LLMs comme LangChain. Certains les utilisent pour prototyper, d’autres les ont déjà intégrés en production. Le taux d’adoption a augmenté ces derniers mois.
-
Moins de 10 % des entreprises recherchent actuellement des outils permettant de surveiller la sortie, le coût ou les performances des LLMs, ou d’effectuer des tests A/B. À mesure que davantage de grandes entreprises et de secteurs réglementés adopteront les modèles linguistiques, cet intérêt devrait croître.
-
Quelques entreprises explorent des technologies génératives complémentaires, notamment en combinant génération de texte et de voix. Nous pensons également que ce domaine représente un potentiel de croissance passionnant.
-
15 % des entreprises construisent des modèles linguistiques personnalisés à partir de zéro ou en utilisant des technologies open source, souvent en parallèle de l’utilisation d’API de LLMs. L’adoption de l’entraînement de modèles personnalisés a connu une forte croissance ces derniers mois. Cela implique de mettre en place sa propre pile technologique en s’appuyant sur des ressources telles que Hugging Face, Replicate, Foundry, Tecton, Weights & Biases, PyTorch, Scale, qui offrent des ressources de calcul, des bibliothèques de modèles, des services hébergés, des frameworks d’entraînement et des outils de suivi d’expériences.
Après avoir parlé à chaque praticien, il est clair que l’IA évolue trop vite pour que l’on ait pleinement confiance dans une pile technologique finale. Toutefois, tous conviennent que les API de LLMs resteront un pilier central, suivies par les mécanismes de récupération et les cadres de développement comme LangChain. L’utilisation croissante des modèles open source et l’entraînement de modèles personnalisés semblent également en plein essor. D’autres composantes de la pile sont importantes, mais moins matures.
3. Les entreprises souhaitent personnaliser les modèles linguistiques selon leurs environnements spécifiques
Bien que les modèles linguistiques généraux soient puissants, ils ne répondent pas toujours précisément aux besoins spécifiques de chaque application. Les entreprises souhaitent pouvoir interagir en langage naturel avec leurs propres données, comme la documentation technique, les stocks produits, les règles RH ou informatiques. Dans certains cas, elles veulent aussi personnaliser les modèles selon les données utilisateur, par exemple des notes personnelles, des maquettes de conception, des indicateurs ou des bases de code.
Actuellement, trois méthodes principales permettent de personnaliser les modèles linguistiques (pour une explication technique plus poussée, voir la récente présentation d’Andrej à Microsoft Build sur « l’état des GPT ») :
-
Entraîner un modèle personnalisé depuis zéro. Méthode la plus difficile. C’est l’approche classique et la plus complexe, nécessitant généralement des scientifiques qualifiés en apprentissage automatique, de grandes quantités de données pertinentes, une infrastructure d’entraînement et des ressources de calcul élevées. C’est pourquoi l’innovation en traitement du langage naturel a longtemps été concentrée dans les grandes entreprises technologiques. BloombergGPT est un bon exemple de projet de modèle personnalisé réalisé sans le soutien d’un géant technologique, en s’appuyant sur Hugging Face et d’autres outils open source. Avec l’amélioration continue des outils open source et l’essor de l’innovation autour des LLMs, nous nous attendons à voir davantage de modèles pré-entraînés et personnalisés utilisés à l’avenir.
-
Ajuster finement un modèle de base. Difficulté moyenne. Cette méthode consiste à mettre à jour les poids d’un modèle pré-entraîné en utilisant des données propriétaires ou spécifiques à un domaine. L’innovation open source facilite cette approche, mais elle nécessite généralement toujours une équipe hautement qualifiée. Certains praticiens admettent en privé que l’ajustement fin est plus difficile qu’il n’y paraît, et peut entraîner des conséquences imprévues, telles qu’une dérive du modèle ou la perte inopinée de certaines de ses compétences. Bien que cette méthode devienne probablement plus courante, elle reste aujourd’hui inaccessible à la majorité des entreprises. Toutefois, cela évolue rapidement.
-
Utiliser un modèle pré-entraîné avec récupération de contexte pertinent. Méthode la plus simple. Beaucoup pensent avoir besoin d’un modèle spécialement ajusté, alors qu’en réalité ils veulent simplement que le modèle raisonne correctement sur leurs données au bon moment. Plusieurs techniques permettent de fournir les bonnes informations au modèle au bon moment : requêtes structurées vers une base SQL, recherche dans un catalogue produit, appel d’API externes ou utilisation de la récupération par embedding. Cette dernière présente l’avantage de permettre une recherche facile en langage naturel dans des données non structurées. Techniquement, cela se fait en transformant les données en vecteurs d’embedding, stockés dans une base de données vectorielle. Lors d’une requête, les vecteurs les plus pertinents sont recherchés et fournis au modèle. Cette méthode permet de dépasser la fenêtre limitée de contexte du modèle, est peu coûteuse, résout les problèmes de fraîcheur des données (par exemple, ChatGPT ne connaît rien au-delà de septembre 2021) et peut être mise en œuvre par un développeur seul, sans formation spécifique en machine learning. Les bases de données vectorielles sont utiles car elles facilitent le stockage, la recherche et la mise à jour des embeddings à grande échelle. Jusqu’à présent, nous observons que les grandes entreprises s’appuient encore sur leurs contrats cloud et utilisent les outils des fournisseurs cloud, tandis que les startups préfèrent les bases vectorielles spécialisées. Mais ce domaine évolue très vite. Les fenêtres de contexte s’élargissent (OpenAI vient d’atteindre 16K, Anthropic propose désormais 100 000 tokens). Les modèles de base et les bases de données cloud pourraient intégrer directement les fonctions de récupération. Nous suivons attentivement l’évolution de ce marché.
4. Actuellement, les piles technologiques des API de LLMs et celles dédiées à l’entraînement de modèles personnalisés peuvent sembler indépendantes, mais elles convergeront progressivement
Il peut sembler exister deux histoires distinctes : d’un côté, la pile technologique basée sur les API de LLMs (plutôt fermée et orientée développeurs), de l’autre, celle dédiée à l’entraînement de modèles personnalisés (plutôt open source et destinée traditionnellement à des équipes ML complexes).
Certains se demandent si la facilité d’accès aux LLMs via API ne découragera pas les entreprises de former leurs propres modèles. Or, jusqu’à présent, c’est exactement l’inverse qui se produit. Avec l’essor de l’intérêt pour l’IA et l’accélération du développement open source, de nombreuses entreprises sont de plus en plus motivées pour entraîner ou affiner leurs propres modèles.
Nous pensons que, avec le temps, les piles technologiques des API de LLMs et celles des modèles personnalisés finiront par se rejoindre. Par exemple, une entreprise pourrait entraîner son propre modèle à partir d’open source, tout en utilisant une base vectorielle pour assurer la fraîcheur des données. Et les startups intelligentes développant des outils pour les modèles personnalisés cherchent aussi à étendre leurs produits pour qu’ils s’intègrent mieux à la révolution des API de LLMs.
5. La pile technologique devient de plus en plus accessible aux développeurs
Les API de modèles linguistiques rendent désormais des modèles puissants accessibles aux développeurs ordinaires, et non plus seulement aux équipes spécialisées en machine learning. Le groupe de développeurs travaillant avec les LLMs s’est considérablement élargi, englobant désormais la majorité des développeurs. Nous pensons que nous verrons bientôt davantage d’outils conçus spécifiquement pour les développeurs.
Par exemple, LangChain aide les développeurs à créer des applications LLM en simplifiant des problèmes courants : combiner des modèles en systèmes avancés, chaîner plusieurs appels de modèles, connecter les modèles à des outils et sources de données, créer des agents capables d’utiliser ces outils, et éviter le verrouillage fournisseur en facilitant le changement de modèle linguistique. Certains utilisent LangChain pour le prototypage, d’autres continuent de l’utiliser en production.
6. Pour une adoption généralisée, les modèles linguistiques doivent devenir plus fiables (qualité des sorties, confidentialité et sécurité des données)
Avant d’intégrer pleinement les LLMs dans leurs applications, de nombreuses entreprises souhaitent disposer de meilleurs outils pour gérer la confidentialité, l’isolement et la sécurité des données, le droit d’auteur, ainsi que la surveillance des sorties des modèles. Dans les secteurs réglementés, comme la fintech ou la santé, ces préoccupations sont particulièrement fortes, et les entreprises peinent à trouver des solutions logicielles adaptées (un domaine prometteur pour les startups). Idéalement, des logiciels devraient alerter – voire empêcher – la génération de contenus erronés, imaginaires, discriminatoires ou dangereux.
Certaines entreprises s’inquiètent aussi de la manière dont les données partagées avec les modèles sont utilisées pour l’entraînement : par exemple, peu savent que les données de ChatGPT Consumer sont par défaut utilisées pour l’entraînement, tandis que celles de ChatGPT Business et des API ne le sont pas. À mesure que les politiques deviendront plus claires et que davantage de protections seront mises en place, les modèles linguistiques gagneront en crédibilité, et nous assisterons probablement à un nouveau bond dans leur adoption.
7. Les applications basées sur les modèles linguistiques deviendront de plus en plus multimodales
Les entreprises découvrent déjà des façons innovantes de combiner plusieurs modèles génératifs pour obtenir des effets remarquables : des chatbots combinant texte et voix offrent une nouvelle dimension à l’expérience conversationnelle. Texte et voix peuvent être combinés pour corriger rapidement des erreurs dans un enregistrement vidéo sans devoir tout refaire.
Les modèles eux-mêmes deviennent de plus en plus multimodaux. Nous pouvons imaginer à l’avenir des applications IA grand public et professionnelles riches, combinant génération de texte, voix/audio et images/vidéo, créant ainsi des expériences plus immersives et capables d’accomplir des tâches plus complexes.
8. Nous en sommes encore au tout début
L’intelligence artificielle commence à peine à s’immiscer dans tous les aspects de la technologie. Dans notre enquête, seules 65 % des entreprises ont déployé des applications en production, et beaucoup d’entre elles proposent encore des usages relativement simples. À mesure que davantage d’entreprises lanceront des applications LLM, de nouveaux obstacles émergeront, offrant ainsi de nouvelles opportunités aux fondateurs. La couche infrastructurelle continuera d’évoluer rapidement au cours des prochaines années.
Si seulement la moitié des démonstrations que nous avons vues parviennent à se transformer en produits viables, nous entrons dans une ère passionnante. Il est encourageant de constater que, des premières entreprises de notre programme Arc jusqu’à des géants comme Zoom, tous concentrent leurs efforts sur un objectif commun : satisfaire les utilisateurs grâce à l’intelligence artificielle.
Bienvenue dans la communauté officielle TechFlow
Groupe Telegram :https://t.me/TechFlowDaily
Compte Twitter officiel :https://x.com/TechFlowPost
Compte Twitter anglais :https://x.com/BlockFlow_News
