La pression sur DouBao ne fait que commencer
TechFlow SélectionTechFlow Sélection
La pression sur DouBao ne fait que commencer
Selon des informations obtenues par le journaliste, l'équipe de DouBao est actuellement en train d'examiner si l'application DouBao devrait intégrer DeepSeek.
Dédié à des analyses Web3 approfondiesArticle source : Zhang Yangyang, Cailianpress AI daily
Image source : Generated by Wujie AI
Aujourd'hui, l'équipe du grand modèle Douyin de ByteDance a proposé une nouvelle architecture de modèle creux appelée UltraMem, qui résout efficacement le problème élevé de l'accès mémoire lors de l'inférence MoE. Cette architecture permet d'améliorer la vitesse d'inférence de 2 à 6 fois par rapport à l'architecture MoE et peut réduire les coûts d'inférence jusqu'à 83 %.
Actuellement, la concurrence dans le domaine des grands modèles, tant en Chine qu'à l'international, devient de plus en plus intense, atteignant un stade de forte intensité. Douyin a réalisé une implantation complète au niveau fondamental et applicatif de l'IA, tout en poursuivant des itérations et mises à niveau continues.
Performance continue de réduction des coûts pour les grands modèles
Selon les recherches menées par l'équipe du grand modèle Douyin, sous l'architecture Transformer, les performances du modèle sont liées logarithmiquement à son nombre de paramètres et à sa complexité de calcul. À mesure que la taille des LLM augmente, le coût d'inférence augmente fortement tandis que la vitesse diminue.
Bien que l'architecture MoE (Mixture of Experts) ait réussi à découpler calcul et paramètres, lors de l'inférence, même avec une petite taille de batch, tous les experts sont activés, ce qui entraîne une augmentation significative de l'accès mémoire et donc un retard important dans l'inférence.
L'équipe Foundation du grand modèle Douyin de ByteDance a proposé UltraMem, une architecture de modèle creux qui, comme MoE, découple calcul et paramètres, tout en résolvant le problème d'accès mémoire pendant l'inférence, sans compromettre l'efficacité du modèle.
Les résultats expérimentaux montrent que, dans des conditions identiques de paramètres et d'activation, UltraMem surpasse MoE en termes de performance du modèle, tout en améliorant la vitesse d'inférence de 2 à 6 fois. De plus, pour des tailles courantes de batch, le coût d'accès mémoire d'UltraMem est presque équivalent à celui d'un modèle Dense ayant la même charge de calcul.
Il apparaît clairement que, tant du côté de l'entraînement que de l'inférence, les fabricants de grands modèles s'efforcent tous de réduire les coûts et d'améliorer l'efficacité. La raison principale est qu'avec l'augmentation de l'échelle des modèles, le coût d'inférence et l'efficacité d'accès mémoire sont devenus des goulets d'étranglement critiques limitant leur déploiement à grande échelle, et DeepSeek a déjà ouvert la voie vers une percée à « faible coût et haute performance ».
Liu Fanping, PDG de YANXIN AI, a déclaré dans un entretien avec le journaliste du Ke Chuang Ban Daily que pour réduire les coûts des grands modèles, l'industrie privilégie davantage les percées technologiques et techniques afin d'accomplir un « dépassement par la voie détournée » grâce à l'optimisation architecturale. Les architectures de base, telles que l'architecture Transformer, restent coûteuses ; de nouvelles recherches architecturales sont indispensables. Quant aux algorithmes fondamentaux, notamment la rétropropagation, ils pourraient bien constituer un verrouillage du deep learning.
Selon Liu Fanping, à court terme, le marché des puces haut de gamme continuera d'être dominé par NVIDIA. Toutefois, avec la demande croissante pour les applications d'inférence, les GPU nationaux ont désormais leur chance. À long terme, les résultats d'une innovation algorithmique peuvent être impressionnants, et l'évolution future de la demande en puissance de calcul reste à observer.
La pression commence seulement pour Douyin
Pendant le récent Festival du Printemps, DeepSeek s'est rapidement imposé mondialement grâce à son faible coût d'entraînement et son efficacité opérationnelle élevée, devenant ainsi un outsider dans le domaine de l'IA. Actuellement, la concurrence dans le domaine des grands modèles, tant en Chine qu'à l'international, devient de plus en plus intense, atteignant un stade de forte intensité.
DeepSeek est actuellement le principal concurrent de Douyin parmi les grands modèles chinois. Le 28 janvier, son nombre quotidien d'utilisateurs actifs a dépassé pour la première fois celui de Douyin. À présent, le volume d'utilisateurs actifs quotidiens de DeepSeek a franchi la barre des 40 millions, devenant ainsi la première application de l'Internet mobile chinois à intégrer le Top 50 national des utilisateurs quotidiens en moins d'un mois après son lancement.
Ces derniers jours, l'équipe du grand modèle Douyin a intensifié ses efforts. Il y a deux jours, elle a lancé le modèle expérimental de génération vidéo « VideoWorld ». Contrairement aux principaux modèles multimodaux comme Sora, DALL-E ou Midjourney, VideoWorld réalise pour la première fois dans l'industrie la compréhension du monde sans dépendre d'un modèle linguistique.
À l'heure actuelle, Douyin a mis en place une stratégie complète aux niveaux fondamental et applicatif de l'IA, avec des itérations et mises à jour continues. Sa matrice de produits IA couvre désormais plusieurs domaines, tels que l'assistant conversationnel IA Douyin, Maoboxiang, Jimeng AI, Xinghui, Douyin MarsCode, etc.
Le 12 février, les actions liées au concept de Douyin ont fortement augmenté en après-midi. Selon les données Wind, depuis le début de février, l'indice Douyin de TikTok a accumulé une hausse de plus de 15 %. Sur le plan des valeurs individuelles,博彦科技 (Boyan Technology) a atteint le plafond,汉得信息 (Hande Information) a fortement grimpé avant d'atteindre aussi le plafond, tandis que广和通 (Fibocom) et先进数通 (Advanced Digital) ont connu des pics en séance.
Auparavant, CITIC Securities a publié un rapport estimant que l'expansion de l'écosystème Douyin AI déclenchera un nouveau cycle d'investissement technologique pour les grands groupes. L'industrie de l'IA présente de forts effets réseau et d'échelle : lorsque les principales applications IA obtiennent un avantage précoce en termes d'utilisateurs, leurs compétences en précision du modèle, coût marginal et fidélité des utilisateurs renforcent progressivement leurs avantages concurrentiels.
Le nombre croissant d'utilisateurs de Douyin pourrait accélérer le développement de l'écosystème basé sur Douyin AI. D'une part, cela stimulera les investissements de l'entreprise dans les infrastructures de calcul pour l'entraînement et l'inférence IA ; d'autre part, la croissance rapide de Douyin AI encouragera d'autres géants à intensifier leurs investissements dans les infrastructures IA.
Mais pour Douyin lui-même, la confrontation avec le brillant élève DeepSeek ne fait probablement que commencer.
En tant que modèle open source, le faible coût et la haute performance de DeepSeek transforment déjà la stratégie de sélection de modèles de nombreuses entreprises. À ce jour, plusieurs applications IA appartenant à Huawei, Baidu et d'autres sociétés ont annoncé leur intégration à DeepSeek. Même chez ByteDance, la fonctionnalité de tableaux multidimensionnels de Feishu a intégré le modèle DeepSeek-R1, et Volcano Engine a également effectué les adaptations nécessaires.
Selon les informations obtenues par le journaliste du Ke Chuang Ban Daily, l'équipe interne de Douyin discute encore de savoir si l'application Douyin doit intégrer DeepSeek. Du point de vue de l'expérience utilisateur, choisir un modèle plus performant est tout à fait justifiable. Cependant, abandonner son propre modèle au profit d'un concurrent direct serait difficile à expliquer aux actionnaires. Sans compter les problèmes supplémentaires liés à la charge d'adaptation induite par l'intégration d'un nouveau modèle.
Bienvenue dans la communauté officielle TechFlow
Groupe Telegram :https://t.me/TechFlowDaily
Compte Twitter officiel :https://x.com/TechFlowPost
Compte Twitter anglais :https://x.com/BlockFlow_News
