Selon TechFlow, le 20 juillet, l'analyste Sunny Bangia estime que, tout comme le lancement de DeepSeek R1 en 2025, celui de Kimi K3 a également suscité des inquiétudes quant au fait que la puissance de calcul en IA pourrait être inférieure aux attentes. Cependant, cette comparaison pourrait ignorer une distinction importante. Bien que des modèles comme Kimi K3 visent à utiliser les ressources de calcul plus efficacement, ils nécessitent toujours une grande quantité de mémoire lors de l'exécution, une caractéristique qui pourrait continuer à soutenir la demande pour des entreprises telles que SK Hynix, TSMC et Nvidia.
Kimi K3 possède 2,8 billions de paramètres, portant le taux de sparsité à un nouveau record. Un taux de sparsité plus élevé signifie que le nombre de paramètres activés lors de chaque tâche est moindre par rapport à la taille totale du modèle, permettant ainsi une efficacité de calcul plus élevée pour chaque token. Les paramètres ne sont que des nombres stockés en mémoire. Même en compressant le modèle à l'aide de formats de données de faible précision, les paramètres de Kimi K3 occuperaient toujours environ 1,4 téraoctets de mémoire. L'adoption de K3 elle-même générera une demande de mises à niveau de puces en silicium à haute mémoire, telles que la Blackwell GB300 de Nvidia. (Jin10)
