WASTE 추론 엔진으로 64GB 노트북에서 Kimi K3 2.78T 모델 로컬 실행 구현

TechFlow 소식, 8 월 1 일, Hacker News 인기 프로젝트에 따르면 오픈소스 추론 엔진 WASTE 는 64GB 메모리가 장착된 MacBook Pro 에서 완전한 Kimi K3 모델의 로컬 추론을 실현했다.

소개에 따르면 WASTE 는 C 언어로 개발되었으며, 모델 백본을 메모리에 상주시키고 필요에 따라 디스크에서 MoE 전문가 가중치를 스트리밍 로드하는 방식을 통해 최소 메모리 사용량을 약 29.05 GiB 로 압축했고, 추론 속도는 초당 약 0.49~0.54 토큰이다.

Kimi K3 완전 모델은 약 2.78 조 개의 파라미터를 보유하며, 모델 컨테이너 크기는 약 982 GiB 로 이전에는 소비자 등급 하드웨어에서 실행하기 어렵다고 일반적으로 여겨졌다. WASTE 는 스트리밍 로드 메커니즘을 통해 VRAM 제한을 우회하여 일반 사양의 노트북이 양자화 또는 프루닝 버전에 의존하지 않고도 완전한 모델 가중치를 실행할 수 있게 했다.

현재 이 프로젝트는 Hacker News 커뮤니티에서 광범위한 관심을 얻었으며, 관련 코드는 오픈소스되었다.