WASTE 推論エンジンが Kimi K3 2.78T モデルの 64GB ノート PC でのローカル実行を実現

TechFlow によると、8 月 1 日、Hacker News で話題のプロジェクトによれば、オープンソース推論エンジン WASTE は、64GB のメモリを搭載した MacBook Pro 上で完全な Kimi K3 モデルのローカル推論を実現した。

説明によると、WASTE は C 言語で開発されており、モデルバックボーンをメモリに常駐させ、必要に応じてディスクから MoE エキスパート重みをストリーミング読み込みする方式により、最低メモリ占有量を約 29.05 GiB に圧縮し、推論速度は毎秒約 0.49 から 0.54 トークンとなっている。

Kimi K3 完全モデルは約 2.78 兆のパラメータを持ち、モデルコンテナのサイズは約 982 GiB で、これまで消費者向けハードウェアでの実行は困難だと一般的に考えられていた。WASTE はストリーミング読み込みメカニズムにより VRAM 制限を回避し、一般的な構成のノートパソコンでも完全なモデル重みを実行できるようにしたもので、量子化やプルーニングされたバージョンに依存する必要はない。

現在、本プロジェクトは Hacker News コミュニティで広く注目を集めており、関連コードはすでにオープンソース化されている。