TechFlow, 18 février — Selon une information rapportée par Jinshi le 18 février, DeepSeek a lancé NSA. DeepSeek explique que NSA est un mécanisme d'attention clairsemée (sparse attention) aligné sur le matériel et naturellement entraînable, conçu pour un entraînement et une inférence extrêmement rapides sur de longs contextes. Grâce à une conception optimisée pour les matériels modernes, NSA accélère la vitesse d'inférence tout en réduisant les coûts de pré-entraînement, sans compromettre les performances. Il obtient des résultats comparables, voire supérieurs, à ceux des modèles utilisant une attention complète, tant sur des benchmarks généraux, des tâches à long contexte que sur des inférences basées sur des instructions.
Ajouter aux favoris
Partager sur les réseaux sociaux
