TechFlow Logo
ログイン/ 登録
ETHガス
Gwei
恐怖
gas
7x24h速報

智譜創業者が GLM-5.3 を語る:スケーリング則はパラメータ規模のみならず、ポストトレーニングが鍵となる変数に

2026.08.19 - 11:32
初公開
共有先

TechFlow によると、8 月 19 日、智譜 AI の創業者である唐杰氏が投稿を発表し、大規模モデルのスケーリングはパラメータ数だけに注目すべきではなく、データ規模、計算リソースの配分、推論コスト、実際の運用条件も同時に考慮する必要があると表明した。

記事は Kaplan のスケーリング則から Chinchilla の計算最適化理論への変化を振り返り、初期の「パラメータ増加分がデータ増加分を上回る」路線が一部の超大規模モデルにおいてリソースの誤配分を招いたことを指摘し、その後の研究ではモデルパラメータと訓練データはより均衡を持って増加すべきだと示されたと述べた。

記事はさらに、モデルが高頻度で呼び出されるに伴い、推論コストがモデルのライフサイクルコストの核心となっており、最適戦略はより小さなモデルとより長い訓練へ転換していると指摘した。同時に、エキスパート混合モデルにおいては、総パラメータは主に知識容量に影響し、アクティブパラメータと有効深度が推論能力により影響するため、単一の「パラメータあたりの訓練トークン数」の比例関係はもはや適用しないと述べた。

GLM-5.3 については、記事は GLM-5.2 と同じ基盤モデル、アーキテクチャ、総パラメータ、アクティブパラメータを使用し、1 か月間の長コンテキスト環境のスケーリングと強化学習によるポストトレーニングを通じて顕著な改善を達成したと伝えた。記事は、パラメータ規模、事前学習データ、順伝播計算、ポストトレーニングはすべて独立して調整可能なスケーリング変数であり、今回の実験はポストトレーニングには依然として大きな改善余地があることを示し、スケーリングはまだ終わっていないと考えている。

お気に入りに追加
SNSで共有

7x24h速報