OpenAI manque également de GPU, réduire les coûts est l'objectif prioritaire
TechFlow SélectionTechFlow Sélection
OpenAI manque également de GPU, réduire les coûts est l'objectif prioritaire
12 milliards de dollars + quasiment toute sa puissance de calcul : Microsoft confie « la moitié de sa vie » à OpenAI.
Dédié à des analyses Web3 approfondiesAuteur | Ling Zijun
Éditrice | Wei Shijie
Le voyage européen de Sam Altman se poursuit. Récemment à Londres, il a participé à une discussion privée avec le PDG de l’entreprise d’intelligence artificielle HumanLoop. HumanLoop est une société qui aide les développeurs à créer des applications basées sur les grands modèles linguistiques.
Le PDG de HumanLoop, Raza Habib, a résumé les points clés de cet entretien et les a publiés sur le site officiel de son entreprise. Mais suite à la demande d’OpenAI, ce compte rendu a été retiré. Cela n’a fait qu’attiser davantage la curiosité du public concernant cette conversation. Certains supposent que certaines idées exprimées par OpenAI auraient évolué.
Après avoir consulté ce compte rendu supprimé, TechFlow a découvert qu’il ne contenait pas seulement les plans à court terme d’OpenAI selon Sam Altman, mais révélait également les pressions subies par OpenAI,malgré le soutien massif en ressources informatiques cloud de Microsoft.
En effet, l’ajustement fin (fine-tuning) et l’inférence des modèles consomment encore énormément de ressources de calcul.
Selon The Information, les modèles d’OpenAI ont déjà coûté 1,2 milliard de dollars sur Microsoft Azure, ce qui concentre les ressources informatiques sur le soutien à OpenAI, limitant ainsi l’accès aux serveurs pour d’autres divisions de Microsoft.
Face à cela, Sam déclare quela réduction des coûts est actuellement l’objectif prioritaire.
De plus, Sam précise que des services tels que des fenêtres contextuelles plus longues ou une API de fine-tuning sont actuellement limités par la disponibilité des GPU.
Lors de cet échange, Sam Altman a répondu à de nombreuses questions soulevées par l’extérieur, notamment sur la concurrence et la commercialisation :
-
Même s’il vient de recruter un producteur mondial de premier plan, Peter Deng, OpenAI n’envisage pas de lancer davantage de produits ;
-
La tendance future des applications consistera à intégrer les fonctionnalités des grands modèles dans davantage d’applications, plutôt que de développer toujours plus de plugins sur ChatGPT, car dans la réalité, la plupart des plugins n’ont pas atteint un ajustement produit-marché (PMF — Product/Market Fit) ;
-
Ces dernières années, OpenAI a agrandi ses modèles à une vitesse multipliée par des millions, mais un tel rythme n’est pas durable. À l’avenir, OpenAI prévoit de continuer d’agrandir progressivement la taille de ses modèles d’un facteur 1 à 3, afin d’améliorer leurs performances.
Le compte rendu a été publié le 29 mai et, selon les traces laissées par les internautes, supprimé vers le 3 juin. Voici le contenu récupéré via une sauvegarde :
OpenAI est actuellement fortement limité par les GPU
À mesure que les conversations s’allongent,les ressources de calcul nécessaires croissent de manière exponentielle
Actuellement, OpenAI dispose de très peu de GPU disponibles, ce qui retarde bon nombre de ses projets à court terme. La principale plainte des clients concerne la fiabilité et la rapidité de l’API. Sam reconnaît ces inquiétudes et explique que la majorité des problèmes proviennent du manque de GPU.
The longer 32k context can’t yet be rolled out to more people. OpenAI hasn’t overcome the O(n^2) scaling of attention and so whilst it seemed plausible they would have 100k - 1M token context windows soon (this year) anything bigger would require a research breakthrough.
Les fenêtres contextuelles plus longues de 32K ne peuvent pas encore être proposées à un plus grand nombre d’utilisateurs. OpenAI n’a pas encore résolu le problème de mise à l’échelle O(n²) du mécanisme d’attention, et bien qu’il semble possible d’avoir bientôt (cette année) des fenêtres contextuelles de 100 000 à 1 million de tokens, toute extension au-delà nécessiterait une percée scientifique.
Note : O(n²) signifie qu’à mesure que la longueur de la séquence augmente, les ressources de calcul nécessaires pour exécuter les opérations d’attention croissent de façon exponentielle. Le « O » désigne la limite supérieure ou le pire cas de la complexité temporelle ou spatiale d’un algorithme ; (n²) indique que la complexité est proportionnelle au carré de la taille de l’entrée.
L’API de fine-tuning est actuellement limitée par la disponibilité des GPU. Ils n’utilisent pas encore des méthodes efficaces comme Adapters ou LoRa, donc l’exécution et la gestion via fine-tuning restent extrêmement gourmandes en calcul. Ils prévoient de mieux supporter le fine-tuning à l’avenir, allant jusqu’à envisager de créer un marché communautaire de contributions de modèles.
L’approvisionnement en capacité dédiée est limité par la disponibilité des GPU. OpenAI propose une capacité dédiée, offrant aux clients une copie privée du modèle. Pour bénéficier de ce service, les clients doivent s’engager à payer d’avance 100 000 dollars.
Feuille de route à court terme d’OpenAI
2023 : Réduire le coût de l’intelligence ;2024 : Démonstration limitée de la multimodalité.
Sam a également partagé la feuille de route provisoire à court terme qu’il voit pour l’API OpenAI.
2023 :
-
GPT-4 moins cher et plus rapide – C’est leur priorité absolue. Dans l’ensemble, OpenAI vise à réduire autant que possible le coût de l’intelligence, et travaillera donc activement à faire baisser le prix de l’API au fil du temps.
-
Fenêtres contextuelles plus longues – Dans un avenir proche, elles pourraient atteindre un million de tokens.
-
API de fine-tuning – Elle sera étendue aux derniers modèles, mais sa forme exacte dépendra des besoins réellement exprimés par les développeurs.
-
Une API avec état (stateful API) – Actuellement, lorsqu’on appelle l’API de chat, on doit transmettre à chaque fois l’historique complet de la conversation, en payant plusieurs fois les mêmes tokens. À l’avenir, une version de l’API pourra mémoriser l’historique des échanges.
2024 :
Multimodalité – Ce sera démontré dans une version de GPT-4, mais ne pourra pas être étendu à tous avant que davantage de GPU soient disponibles.
Prévisions et réflexions commerciales :
Les plugins « n’ont pas de PMF »et ne seront probablement pas rapidement accessibles via l’API.
Beaucoup de développeurs sont intéressés par l’accès aux plugins de ChatGPT via l’API, mais Sam pense qu’ils ne seront pas publiés rapidement. En dehors du plugin Browsing, l’utilisation des autres plugins montre qu’aucun n’a encore atteint un ajustement produit-marché (PMF). Il souligne que beaucoup pensent vouloir que leurs applications soient intégrées à l’intérieur de ChatGPT, alors que ce qu’ils veulent vraiment, c’est que ChatGPT soit intégré à leurs applications.
Hormis ChatGPT,OpenAI évitera de concurrencer ses clients
Les grandes entreprises possèdentune application phare.
De nombreux développeurs expriment leur inquiétude quant à l’utilisation de l’API OpenAI, craignant qu’OpenAI ne lance finalement un produit concurrent. Sam affirme que OpenAI ne lancera pas d’autres produits en dehors de ChatGPT. Il rappelle que les grandes entreprises de plateforme historiques avaient chacune une application phare. ChatGPT permettra aux développeurs de devenir eux-mêmes utilisateurs de leurs produits afin d’améliorer l’API. La vision de ChatGPT est de devenir un assistant intelligent ultra-performant, mais pour de nombreux autres cas d’usage des GPT, OpenAI ne s’impliquera pas.
Un encadrement réglementaire est nécessaire,mais pas maintenant
« Je doute que tant de personnes et entreprisesaient réellement la capacité de détenir de grands modèles »
Bien que Sam appelle à réguler les futurs modèles, il estime que les modèles actuels ne sont pas dangereux, et considère qu’une régulation ou interdiction serait une grave erreur. Il réaffirme l’importance de l’open source et indique qu’OpenAI envisage d’ouvrir GPT-3. Ils ne l’ont pas encore fait, en partie parce qu’il doute que tant de particuliers ou entreprises soient capables de gérer et d’héberger des grands modèles linguistiques (LLMs).
La loi d’échelle reste valable
Avec une expansion multipliée par des millions en quelques années,un tel rythme ne peut pas se poursuivre indéfiniment.
Récemment, de nombreux articles affirment que « l’ère des énormes modèles d’IA est terminée ». Cette affirmation est inexacte. (Note : lors d’un événement à MIT en avril, Sam Altman avait déclaré : « Nous sommes désormais proches de la fin de l’ère des très grands modèles. »)
Les données internes d’OpenAI montrent que la loi d’échelle des performances des modèles reste valide :augmenter la taille des modèles continue d’améliorer leurs performances.
Puisqu’OpenAI a agrandi ses modèles d’un facteur de plusieurs millions en seulement quelques années, un tel rythme d’expansion ne peut pas se maintenir. Cela ne signifie pas qu’OpenAI cessera d’agrandir ses modèles, mais plutôt que leur croissance annuelle pourrait désormais être d’un facteur 1 à 3, plutôt que de plusieurs ordres de grandeur.
Le maintien de la loi d’échelle a une importance cruciale pour la chronologie du développement de l’AGI. L’hypothèse de cette loi suppose que nous disposons déjà de la majorité des éléments nécessaires à la construction d’une AGI, et que le travail restant consiste surtout à étendre les méthodes existantes à des modèles et jeux de données plus vastes. Si l’ère de l’agrandissement était terminée, nous serions potentiellement plus éloignés de l’AGI. Le fait que la loi d’échelle reste valable suggère fortement une échéance plus rapprochée.
Bienvenue dans la communauté officielle TechFlow
Groupe Telegram :https://t.me/TechFlowDaily
Compte Twitter officiel :https://x.com/TechFlowPost
Compte Twitter anglais :https://x.com/BlockFlow_News
极客公园
