TechFlow Logo
登入/ 註冊
ETH Gas
Gwei
恐懼
gas
7x24h快訊

智譜創始人談 GLM-5.3:擴展定律不止參數規模,後訓練成為關鍵變量

2026.08.19 - 11:32
首發
分享至

深潮 TechFlow 消息,8 月 19 日,智譜創始人唐傑發文表示,大模型擴展不應只關注參數數量,還需同時考慮數據規模、計算資源分配、推理成本與實際運行條件。文章回顧了從 Kaplan 擴展定律到 Chinchilla 計算最優理論的變化,指出早期“參數增長快於數據增長”的路線曾導致部分超大模型資源錯配,而後續研究表明模型參數與訓練數據應更均衡增長。

文章進一步指出,隨著模型被高頻調用,推理成本已成為模型生命週期成本的核心,最優策略正轉向更小模型與更長訓練;同時,在專家混合模型中,總參數更多影響知識容量,激活參數與有效深度更影響推理能力,單一“每參數對應訓練詞元數”比例已不再適用。

針對 GLM-5.3,該文稱其與 GLM-5.2 使用相同基礎模型、架構、總參數和激活參數,通過一個月擴展長程環境與強化學習進行後訓練,取得顯著提升。文章認為,參數規模、預訓練數據、前向計算和後訓練都是可獨立調節的擴展變量,本次實驗表明後訓練仍有較大提升空間,擴展仍未結束。

添加收藏
分享社交媒體