Công cụ suy luận WASTE cho phép mô hình Kimi K3 2.78T chạy cục bộ trên laptop 64GB

TechFlow đưa tin, ngày 01 tháng 8, theo một dự án nổi bật trên Hacker News, công cụ suy luận mã nguồn mở WASTE đã thực hiện thành công việc suy luận cục bộ mô hình Kimi K3 đầy đủ trên MacBook Pro được trang bị bộ nhớ 64GB.

Theo giới thiệu, WASTE được phát triển bằng ngôn ngữ C, thông qua việc giữ phần chính của mô hình lưu trữ thường trú trong bộ nhớ và truyền phát trực tiếp trọng số chuyên gia MoE từ đĩa theo yêu cầu, đã nén mức sử dụng bộ nhớ tối thiểu xuống khoảng 29.05 GiB, với tốc độ suy luận khoảng 0.49 đến 0.54 Token mỗi giây.

Mô hình đầy đủ Kimi K3 sở hữu khoảng 2.78 nghìn tỷ tham số, kích thước container mô hình khoảng 982 GiB, trước đây được cho là khó có thể chạy trên phần cứng cấp tiêu dùng.

WASTE đã vượt qua giới hạn bộ nhớ thông qua cơ chế tải trực tiếp, cho phép laptop cấu hình thông thường chạy trọng số mô hình đầy đủ mà không cần dựa vào các phiên bản định lượng hoặc cắt giảm.

Hiện tại, dự án này đã nhận được sự quan tâm rộng rãi trong cộng đồng Hacker News, mã nguồn liên quan đã được công khai mã nguồn.