Étude : Kimi K3 obtient un score de 32,2 % aux tests de cyberattaque, en retard de plus de 40 points de pourcentage par rapport aux modèles de pointe américains.

Selon TechFlow, le 24 juillet, une évaluation conjointe de l'Institut de sécurité de l'IA du Royaume-Uni et du Centre américain pour les normes et l'innovation en IA a montré que le Kimi K3 de Moonshot AI pouvait aider à l'exploitation de vulnérabilités et à la simulation de cyberattaques sans obstacle substantiel, mais que ses capacités globales en cybersécurité restaient nettement en retard par rapport aux modèles leaders américains.

Dans le benchmark d'exploitation ExploitBench, le taux de réussite de Kimi K3 était de 32,2 %, supérieur à celui du GLM-5.2 chinois, mais bien inférieur aux 76,2 % des modèles leaders américains, et il n'a atteint le niveau d'attaque le plus élevé « exécution de code arbitraire » dans aucun test. Dans les tests de simulation d'attaques sur le réseau interne d'une entreprise, Kimi K3 a accompli en moyenne 17 étapes sur 32, réussissant le processus complet seulement 1 fois sur 10 tentatives.

Le rapport estime que les modèles à poids ouverts chinois continuent de progresser dans les tâches de cybersécurité, mais qu'il existe toujours un écart significatif par rapport aux systèmes américains ; parallèlement, les résultats correspondent également aux affirmations externes selon lesquelles Kimi K3 pourrait dépendre de l'entraînement par distillation, entraînant une insuffisance des capacités d'attaque avancées.