По сообщению TechFlow, 19 августа основатель Zhipu AI Тан Цзе опубликовал статью, в которой заявил, что масштабирование больших моделей не должно фокусироваться только на количестве параметров, но также должно учитывать масштаб данных, распределение вычислительных ресурсов, стоимость вывода и фактические условия эксплуатации. В статье рассматривается эволюция от законов масштабирования Каплана до теории оптимальных вычислений Chinchilla, указывается, что ранний путь «рост параметров опережает рост данных» приводил к неправильному распределению ресурсов в некоторых сверхбольших моделях, тогда как последующие исследования показывают, что параметры модели и данные обучения должны расти более сбалансированно.
В статье далее указывается, что по мере частого использования моделей стоимость вывода стала ключевым фактором стоимости жизненного цикла модели, и оптимальная стратегия смещается в сторону меньших моделей и более длительного обучения; одновременно в моделях смеси экспертов общее количество параметров больше влияет на емкость знаний, а активные параметры и эффективная глубина больше влияют на способности вывода, поэтому единое соотношение «токенов обучения на параметр» больше не применимо.
Касательно GLM-5.3, в статье говорится, что она использует ту же базовую модель, архитектуру, общее количество параметров и активные параметры, что и GLM-5.2, и благодаря месячному расширению длинного контекста и обучению с подкреплением для посттренировки было достигнуто значительное улучшение. Статья утверждает, что масштаб параметров, данные предварительного обучения, прямое вычисление и посттренировка являются независимо регулируемыми переменными масштабирования, и текущий эксперимент показывает, что посттренировка все еще имеет значительный потенциал для улучшения, а масштабирование еще не завершено.





