深潮 TechFlow 消息,11 月 17 日,摩尔线程完成月之暗面开源模型 Kimi K3.1 Pro 的训练适配。该模型参数规模为 2.8 万亿。
适配基于 MTT S5000 智算卡及 MUSA 软件栈,构建了原生 FSDP2 多模态训练路径,覆盖模型加载、分片调度和梯度同步等环节。
添加收藏
分享社交媒体
深潮 TechFlow 消息,11 月 17 日,摩尔线程完成月之暗面开源模型 Kimi K3.1 Pro 的训练适配。该模型参数规模为 2.8 万亿。
适配基于 MTT S5000 智算卡及 MUSA 软件栈,构建了原生 FSDP2 多模态训练路径,覆盖模型加载、分片调度和梯度同步等环节。