По сообщениям TechFlow, 21 января, согласно данным Jin10 Data, в первую годовщину выпуска DeepSeek-R1 была раскрыта новая модель «MODEL1». DeepSeek обновила код FlashMLA на GitHub, где в 114 файлах 28 раз упоминается MODEL1, фигурирующий как модель, отличная от V32. Известно, что V32 — это DeepSeek-V3.2, поэтому MODEL1, скорее всего, представляет собой новую архитектуру. Конкретные различия в коде касаются структуры KV-кэша, обработки разреженности и декодирования FP8, также имеется несколько различий в оптимизации памяти. (QbitAI)
В избранное
Поделиться





