Tin tức TechFlow, ngày 19 tháng 8, nhà sáng lập Zhipu Tang Jie đăng bài cho biết, việc mở rộng mô hình lớn không nên chỉ tập trung vào số lượng tham số, mà còn cần đồng thời xem xét quy mô dữ liệu, phân bổ tài nguyên tính toán, chi phí suy luận và điều kiện vận hành thực tế. Bài viết xem xét lại sự thay đổi từ định luật mở rộng Kaplan đến lý thuyết tối ưu tính toán Chinchilla, chỉ ra rằng lộ trình "tăng trưởng tham số nhanh hơn tăng trưởng dữ liệu" ban đầu từng dẫn đến sự phân bổ sai lệch tài nguyên ở một số mô hình siêu lớn, trong khi nghiên cứu tiếp theo cho thấy tham số mô hình và dữ liệu huấn luyện nên tăng trưởng cân bằng hơn.
Bài viết tiếp tục chỉ ra rằng, khi mô hình được gọi với tần suất cao, chi phí suy luận đã trở thành cốt lõi của chi phí vòng đời mô hình, chiến lược tối ưu đang chuyển sang mô hình nhỏ hơn và huấn luyện dài hơn; đồng thời, trong mô hình hỗn hợp chuyên gia, tổng tham số ảnh hưởng nhiều hơn đến dung lượng kiến thức, tham số kích hoạt và độ sâu hiệu quả ảnh hưởng nhiều hơn đến khả năng suy luận, tỷ lệ đơn lẻ "số token huấn luyện tương ứng trên mỗi tham số" không còn phù hợp.
Đối với GLM-5.3, bài viết này cho biết nó sử dụng cùng mô hình cơ sở, kiến trúc, tổng tham số và tham số kích hoạt với GLM-5.2, thông qua một tháng mở rộng môi trường dài hạn và học tăng cường để thực hiện hậu huấn luyện, đạt được cải thiện đáng kể. Bài viết cho rằng, quy mô tham số, dữ liệu tiền huấn luyện, tính toán chuyển tiếp và hậu huấn luyện đều là các biến mở rộng có thể điều chỉnh độc lập, thí nghiệm lần này cho thấy hậu huấn luyện vẫn còn không gian cải thiện lớn, việc mở rộng vẫn chưa kết thúc.





