TechFlow Logo
로그인/ 회원가입
ETH 가스
Gwei
공포
gas
7x24h속보

지푸 창업자, GLM-5.3 논하다: 스케일링 법칙은 파라미터 규모에 그치지 않고 후훈련이 핵심 변수가 된다

2026.08.19 - 11:32
최초 공개
공유하기

TechFlow 소식, 8 월 19 일, 지푸 창립자 탕제는 글을 통해 대형 모델 스케일링은 파라미터 수에만 주목해서는 안 되며 데이터 규모, 컴퓨팅 자원 할당, 추론 비용 및 실제 운영 조건도 동시에 고려해야 한다고 밝혔다.

이 글은 Kaplan 스케일링 법칙에서 Chinchilla 계산 최적 이론까지의 변화를 되돌아봤으며, 초기에 "파라미터 성장이 데이터 성장보다 빠른" 노선이 일부 초대형 모델의 자원 미스매치를 초래했음을 지적했다. 이후 연구들은 모델 파라미터와 훈련 데이터가 더 균형 있게 성장해야 함을 보여줬다.

글은 또한 모델이 고빈도로 호출됨에 따라 추론 비용이 모델 수명 주기 비용의 핵심이 되었으며, 최적 전략은 더 작은 모델과 더 긴 훈련으로 전환되고 있다고 지적했다. 동시에 전문가 혼합 모델에서 총 파라미터는 지식 용량에 더 큰 영향을 미치고, 활성화 파라미터와 유효 깊이는 추론 능력에 더 큰 영향을 미치며, 단일 "파라미터당 훈련 토큰 수" 비율은 더 이상 적용되지 않는다고 밝혔다.

GLM-5.3 에 대해 이 글은 GLM-5.2 와 동일한 베이스 모델, 아키텍처, 총 파라미터 및 활성화 파라미터를 사용했으며, 한 달 동안 장기 환경 스케일링 및 강화 학습을 통해 포스트 트레이닝을 진행해 상당한 향상을 이루었다고 설명했다. 글은 파라미터 규모, 사전 훈련 데이터, 순방향 계산 및 포스트 트레이닝이 모두 독립적으로 조절 가능한 스케일링 변수이며, 이번 실험은 포스트 트레이닝에 여전히 큰 향상 공간이 있음을 보여줘 스케일링은 아직 끝나지 않았다고 결론지었다.

즐겨찾기 추가
소셜 미디어 공유