Selon TechFlow, le 19 août, le fondateur de Zhipu AI, Tang Jie, a déclaré dans un article que l'extension des grands modèles ne doit pas se concentrer uniquement sur le nombre de paramètres, mais doit également prendre en compte simultanément l'échelle des données, l'allocation des ressources de calcul, les coûts d'inférence et les conditions d'exécution réelles. L'article retrace l'évolution de la loi d'échelle de Kaplan à la théorie d'optimisation des calculs Chinchilla, soulignant que la voie initiale où la croissance des paramètres était plus rapide que la croissance des données avait conduit à une mauvaise allocation des ressources pour certains très grands modèles, tandis que des recherches ultérieures ont montré que les paramètres du modèle et les données d'entraînement devraient croître de manière plus équilibrée.
L'article souligne également qu'à mesure que les modèles sont appelés fréquemment, le coût d'inférence est devenu l'élément central du coût du cycle de vie du modèle, et la stratégie optimale se tourne vers des modèles plus petits et un entraînement plus long ; parallèlement, dans les modèles de Mélange d'Experts, les paramètres totaux affectent davantage la capacité de connaissances, tandis que les paramètres activés et la profondeur effective affectent davantage les capacités d'inférence, et le ratio unique de « nombre de tokens d'entraînement par paramètre » n'est plus applicable.
Concernant GLM-5.3, l'article indique qu'il utilise le même modèle de base, la même architecture, les mêmes paramètres totaux et les mêmes paramètres activés que GLM-5.2, et qu'il a obtenu une amélioration significative grâce à un post-entraînement d'un mois étendant les environnements à long horizon et l'apprentissage par renforcement. L'article estime que l'échelle des paramètres, les données de pré-entraînement, le calcul forward et le post-entraînement sont tous des variables d'extension ajustables indépendamment ; cette expérience montre que le post-entraînement a encore une grande marge d'amélioration et que l'extension n'est pas encore terminée.





