深潮 TechFlow 消息,11 月 17 日,摩爾線程完成月之暗面開源模型 Kimi K3.1 Pro 的訓練適配。該模型參數規模為 2.8 萬億。
適配基於 MTT S5000 智算卡及 MUSA 軟件棧,構建了原生 FSDP2 多模態訓練路徑,覆蓋模型加載、分片調度和梯度同步等環節。
添加收藏
分享社交媒體
深潮 TechFlow 消息,11 月 17 日,摩爾線程完成月之暗面開源模型 Kimi K3.1 Pro 的訓練適配。該模型參數規模為 2.8 萬億。
適配基於 MTT S5000 智算卡及 MUSA 軟件棧,構建了原生 FSDP2 多模態訓練路徑,覆蓋模型加載、分片調度和梯度同步等環節。