TechFlow 소식, 2월 18일 금십 보도에 따르면, DeepSeek가 NSA를 출시했다. DeepSeek는 NSA가 하드웨어와 일치하며 네이티브로 학습 가능한 희소 어텐션 메커니즘으로 초고속 장문 컨텍스트 학습 및 추론을 가능하게 한다고 밝혔다. 현대적 하드웨어에 최적화된 설계를 통해 NSA는 추론 속도를 높이고 사전 학습 비용을 줄이면서도 성능에는 영향을 미치지 않는다. 일반 벤치마크, 장문 컨텍스트 작업, 명령 기반 추론에서 완전 어텐션 모델과 동등하거나 더 나은 성능을 보인다.
즐겨찾기 추가
소셜 미디어 공유




