Le moteur d'inférence WASTE permet au modèle Kimi K3 2.78T de s'exécuter en local sur un ordinateur portable de 64 GB
Selon TechFlow, le 1er août, d'après les projets populaires sur Hacker News, le moteur d'inférence open source WASTE a réalisé l'inférence locale du modèle complet Kimi K3 sur un MacBook Pro équipé de 64 Go de mémoire.
Selon les informations, WASTE est développé en langage C. En maintenant le corps principal du modèle en mémoire et en lisant en flux les poids des experts MoE depuis le disque selon les besoins, il réduit l'occupation mémoire minimale à environ 29,05 GiB, avec une vitesse d'inférence d'environ 0,49 à 0,54 token par seconde.
Le modèle complet Kimi K3 possède environ 2,78 billions de paramètres et la taille du conteneur du modèle est d'environ 982 GiB ; il était auparavant généralement considéré comme difficile à exécuter sur du matériel grand public. WASTE contourne les limites de la mémoire vidéo grâce à un mécanisme de chargement en flux, permettant aux ordinateurs portables de configuration standard d'exécuter les poids complets du modèle sans dépendre de versions quantifiées ou élaguées.
Actuellement, le projet a suscité une large attention au sein de la communauté Hacker News et le code pertinent est open source.
