Инференс-движок WASTE обеспечивает локальный запуск модели Kimi K3 2.78T на ноутбуке с 64 ГБ памяти.
TechFlow сообщает, 1 августа. Согласно трендовым проектам Hacker News, открытый движок вывода WASTE обеспечил локальный запуск полной модели Kimi K3 на MacBook Pro с 64 ГБ оперативной памяти.
По сведениям разработчиков, проект WASTE написан на языке C. Благодаря постоянному нахождению основной части модели в памяти и потоковой подгрузке весов экспертов MoE с диска по мере необходимости, минимальный объём потребляемой памяти сокращён до примерно 29,05 ГиБ, а скорость вывода составляет около 0,49–0,54 токена в секунду.
Полная модель Kimi K3 содержит около 2,78 трлн параметров, а размер её контейнера достигает приблизительно 982 ГиБ; ранее считалось, что запустить её на потребительском оборудовании крайне сложно. Механизм потоковой загрузки позволяет WASTE обходить ограничения объёма памяти, предоставляя возможность ноутбукам со стандартными характеристиками работать с полными весами модели без использования квантованных или урезанных версий.
В настоящее время данный проект привлёк широкое внимание сообщества Hacker News, а его исходный код уже опубликован в открытом доступе.
