Quelle est la stratégie de ByteDance après le bannissement de son compte par OpenAI ?
TechFlow SélectionTechFlow Sélection
Quelle est la stratégie de ByteDance après le bannissement de son compte par OpenAI ?
Des données textuelles de haute qualité sont la « gourmandise » des grands modèles.
Dédié à des analyses Web3 approfondiesRédaction : Ju Daminger
Alors que 2023 touche à sa fin, une énorme révélation a fait surface en cette fin d'année.
Selon un récent rapport de The Verge :
ByteDance aurait été « banni » par OpenAI pour avoir utilisé l'API de ChatGPT afin de développer son propre grand modèle.
Bien que ByteDance ait par la suite clarifié que cette action n'était qu'un « test », et affirmé avoir immédiatement cessé toute utilisation,
cela reste un incident qui prête à interprétation...
Quel était réellement l'objectif derrière ce blocage de compte ?
1. Que voulait vraiment ByteDance ?
Bien que le rapport de The Verge ne précise pas exactement comment ByteDance a utilisé l'API d'OpenAI pour entraîner son propre grand modèle, il existe plusieurs méthodes possibles pour utiliser un grand modèle (comme GPT d'OpenAI) afin d'entraîner un autre.
L'une d'elles suit le modèle du « maître formant l'apprenti ».
Imaginez qu’un maître (un grand modèle existant) génère des sorties (textes, images, etc.) lorsqu’il traite diverses tâches. L’apprenti (le nouveau modèle) observe ces comportements et tente d’imiter ces résultats.
Ainsi, l’apprenti apprend progressivement à gérer des tâches similaires. En pratique, cela peut être réalisé en entraînant le nouveau modèle sur les données générées par l’ancien.
Une autre méthode consiste à effectuer un entraînement conjoint, où le « maître » et l’« apprenti » traitent ensemble les tâches.
En pratique, cela peut se faire en partageant certains couches ou paramètres entre les deux modèles, permettant ainsi aux anciens et nouveaux modèles d’apprendre mutuellement et de s’entraider pour accomplir les missions.
Du point de vue de la faisabilité technique, dans cet incident, ByteDance a très probablement utilisé la première méthode.
C’est-à-dire qu’il a exploité les données générées via l’API d’OpenAI comme données d’entraînement.
Ainsi, ce que ByteDance cherchait réellement dans cette affaire, c’était l’accès à des corpus linguistiques de haute qualité produits par ChatGPT.
Et ce type de données constitue précisément le « trésor convoité » que tout grand modèle en phase d’entraînement souhaite ardemment obtenir.
Toutefois, étant donné que les conditions d’utilisation d’OpenAI interdisent expressément l’utilisation de ses modèles pour développer des produits concurrents, le blocage du compte de ByteDance était inévitable.
La question est la suivante : en tant que géant technologique disposant de ressources humaines et financières considérables, ByteDance aurait pu aisément réaliser lui-même des opérations telles que le scraping de données ou l’annotation textuelle. Alors pourquoi prendre un tel risque ?
2. Pourquoi prendre un tel risque ?
En réalité, ce dont ByteDance manque actuellement sur le marché des grands modèles, ce n’est ni le talent ni l’argent, mais bien le temps.
Comparé à des entreprises chinoises comme Baidu ou iFlytek, ByteDance est entré relativement tard dans la course aux grands modèles.
Sur le plan chronologique, ByteDance n’a lancé son premier grand modèle, DouBao, qu’au milieu du mois d’août dernier, alors que l’engouement pour les grands modèles durait déjà depuis près de six mois.
Tout acteur sérieux dans ce domaine sait que la concurrence au niveau des modèles obéit à une fenêtre temporelle critique.
Dans le domaine des grands modèles, les entreprises pionnières accumulent souvent davantage d'utilisateurs, de données et d'expérience, créant ainsi un avantage concurrentiel durable. Les retardataires doivent fournir des efforts et des investissements beaucoup plus importants pour rattraper leur retard.
Bien que le lancement de DouBao en août ait permis à ByteDance de monter de justesse dans le dernier wagon, en termes de performances et de positionnement, ce modèle ressemblait davantage à une démonstration expérimentale, incapable de s’intégrer véritablement aux activités existantes de l’entreprise.
En tant que géant ayant produit des succès mondiaux comme TikTok à l’ère du mobile, ce que ByteDance cherche réellement, c’est un modèle généraliste et polyvalent, comparable à ERNIE Bot, capable de s’intégrer ou d’être intégré dans ses différentes applications.
C’est ainsi que naquit ultérieurement le « projet Seed » de ByteDance — un plan visant à développer d’ici la fin de l’année un grand modèle Seed rivalisant avec GPT-3.5 en termes de performance.
Or, l’entraînement d’un grand modèle n’est jamais chose facile ni rapide.
Des étapes préliminaires fastidieuses telles que l’annotation des données ou l’extraction de corpus de haute qualité nécessitent toutes du temps.
Comment, dans un délai aussi court et serré, collecter suffisamment de données textuelles de haute qualité ?
La solution la plus fiable consiste à utiliser directement les données issues de modèles déjà éprouvés et matures, comme celles de ChatGPT.
3. La fenêtre critique au niveau des modèles
En réalité, ce n’est pas seulement ByteDance : même des leaders du secteur comme Google ont eu recours à des raccourcis semblables par souci de rapidité.
Début décembre, Google a annoncé avec déception le report du lancement de son grand modèle Gemini, jugé incapable de bien gérer les requêtes non anglophones.
Pourtant, quelques jours plus tard, Google a surpris tout le monde en lançant officiellement Gemini le 6 décembre, comme si les « défauts » mentionnés précédemment avaient mystérieusement disparu.
Les internautes ont ensuite découvert que Google avait trouvé une « solution miracle » auprès d’ERNIE Bot de Baidu.
Suite aux tests menés notamment par des influenceurs Weibo comme @Lanxiye, il est apparu que lorsqu’on demandait en chinois à Gemini-Pro « Qui es-tu ? », la réponse initiale était : « Je suis le grand modèle ERNIE de Baidu. »
Cette erreur a suscité de nombreuses spéculations quant à une utilisation directe par Google des corpus linguistiques chinois d’ERNIE Bot pour entraîner Gemini.
Pour rattraper GPT-4, Google semble avoir pris des mesures d’urgence.
À long terme toutefois, ces pratiques de « piratage » réciproque entre grands groupes resteront probablement éphémères.
Après plusieurs incidents de ce type, chaque entreprise renforcera sans doute la protection de ses propres données.
Malgré cela, ces cas de réutilisation croisée de données poussent utilisateurs et investisseurs à s’interroger : si les données entre modèles peuvent techniquement être copiées facilement, combien de modèles, à l’avenir, disposeront réellement d’un contenu authentique, en dehors de quelques leaders comme ChatGPT ?
Derrière ces inquiétudes se cache une question fondamentale :
Pourquoi avons-nous besoin de tant de grands modèles quasi identiques ?
Au final, les corpus linguistiques disponibles sont limités. Les équipes de pointe (comme celle de ChatGPT) en ont déjà extrait la majeure partie, tandis que les petits gisements de données spécialisées ont été rapidement absorbés par les différents secteurs verticaux.
À une époque où l’innovation au niveau des modèles touche à sa fin, ce qui crée désormais la différence, c’est moins les données que les approches spécifiques d’entraînement et les fonctionnalités qui en découlent.
C’est précisément là-dessus que repose l’acceptabilité par les utilisateurs de ces pratiques de « réutilisation ».
Sur ce point, Gemini de Google mise sur des capacités multimodales natives supérieures (avec une certaine exagération).
Quant au futur modèle Seed de ByteDance, s’il veut inverser la tendance et gagner la confiance des utilisateurs, il devra impérativement présenter un avantage marquant capable de compenser tous ses défauts.
Bienvenue dans la communauté officielle TechFlow
Groupe Telegram :https://t.me/TechFlowDaily
Compte Twitter officiel :https://x.com/TechFlowPost
Compte Twitter anglais :https://x.com/BlockFlow_News
