TechFlow Logo
Войти/ Регистрация
Газ ETH
Gwei
Страх
gas
24/7Новости

Основатель Zhipu о GLM-5.3: Закон масштабирования не ограничивается размером параметров, постобучение становится ключевой переменной

2026.08.19 - 11:32
Эксклюзив
Поделиться

По сообщению TechFlow, 19 августа основатель Zhipu AI Тан Цзе опубликовал статью, в которой заявил, что масштабирование больших моделей не должно фокусироваться только на количестве параметров, но также должно учитывать масштаб данных, распределение вычислительных ресурсов, стоимость вывода и фактические условия эксплуатации. В статье рассматривается эволюция от законов масштабирования Каплана до теории оптимальных вычислений Chinchilla, указывается, что ранний путь «рост параметров опережает рост данных» приводил к неправильному распределению ресурсов в некоторых сверхбольших моделях, тогда как последующие исследования показывают, что параметры модели и данные обучения должны расти более сбалансированно.

В статье далее указывается, что по мере частого использования моделей стоимость вывода стала ключевым фактором стоимости жизненного цикла модели, и оптимальная стратегия смещается в сторону меньших моделей и более длительного обучения; одновременно в моделях смеси экспертов общее количество параметров больше влияет на емкость знаний, а активные параметры и эффективная глубина больше влияют на способности вывода, поэтому единое соотношение «токенов обучения на параметр» больше не применимо.

Касательно GLM-5.3, в статье говорится, что она использует ту же базовую модель, архитектуру, общее количество параметров и активные параметры, что и GLM-5.2, и благодаря месячному расширению длинного контекста и обучению с подкреплением для посттренировки было достигнуто значительное улучшение. Статья утверждает, что масштаб параметров, данные предварительного обучения, прямое вычисление и посттренировка являются независимо регулируемыми переменными масштабирования, и текущий эксперимент показывает, что посттренировка все еще имеет значительный потенциал для улучшения, а масштабирование еще не завершено.

В избранное
Поделиться

Новости 24/7

TechFlow Logo

Платформа для поиска перспективных активов Главное о Web3, AI, золоте, акциях США и мировой экономике

Предложить статьюemail
Предложить темуmsg

Предупреждение о рисках: материалы сайта не являются инвестиционной рекомендацией. TechFlow не даёт торговых сигналов, не побуждает к совершению сделок и не оказывает связанных с торговлей услуг. В соответствии с уведомлением Народного банка Китая и ещё девяти ведомств о дальнейшей профилактике и пресечении рисков спекулятивной торговли виртуальными валютами просим читателей осознавать связанные с ними риски.

© 2024 TechFlow. Все права защищены.

Контакты: [email protected]

ICP-лицензия: 琼ICP备2022009338号