TechFlow消息,2月18日,据金十报道,DeepSeek推出了NSA。DeepSeek表示,NSA是一种与硬件一致且本机可训练的稀疏注意力机制,适用于超快速的长上下文训练和推理。通过针对现代硬件的优化设计,NSA在不影响性能的前提下提升了推理速度并降低了预训练成本。在通用基准测试、长上下文任务以及基于指令的推理方面,其表现与完全注意力模型相当甚至更优。
お気に入りに追加
SNSで共有
TechFlow消息,2月18日,据金十报道,DeepSeek推出了NSA。DeepSeek表示,NSA是一种与硬件一致且本机可训练的稀疏注意力机制,适用于超快速的长上下文训练和推理。通过针对现代硬件的优化设计,NSA在不影响性能的前提下提升了推理速度并降低了预训练成本。在通用基准测试、长上下文任务以及基于指令的推理方面,其表现与完全注意力模型相当甚至更优。
金十によると、DeepSeekはNSAをリリースした。DeepSeekによれば、NSAとはハードウェアに適合し、ネイティブで学習可能なスパースなアテンション機構であり、超高速の長距離コンテキスト学習および推論に使用される。現代のハードウェア向けに最適化された設計により、NSAは推論速度を向上させると同時に、事前学習コストを削減するもので、性能への影響はない。一般的なベンチマークテストや長文コンテキストタスク、インストラクションベースの推論において、完全アテンションモデルと同等、あるいはそれ以上の性能を発揮する。