Moonshot AI представила крупнейшую в мире открытую модель по числу параметров — Kimi K3 на 2,8 трлн параметров.
По сообщению TechFlow, 17 июля агентство Синьхуа публикует информацию о том, что пекинская компания Moonshot AI 16 июля официально представила новое поколение крупной языковой модели Kimi K3. Количество параметров достигает 2,8 трлн, что делает её крупнейшим open-source решением в мире по этому показателю на сегодняшний день. Kimi K3 изначально поддерживает визуальное понимание и обладает контекстным окном объемом 1 млн токенов. Модель оптимизирована для сложных сценариев использования, включая программную инженерию, интеллектуальный труд, углубленные исследования и мультимодальное понимание, при этом её общий уровень интеллекта приближается к показателям ведущих закрытых мировых моделей. Обучение выполнено на базе самостоятельно разработанной фундаментальной архитектуры. Представители Moonshot AI отмечают, что количество параметров, близкое к 3 трлн, позволяет модели аккумулировать больше знаний и выявлять закономерности, реализуя принципы «понимать больше, мыслить глубже, отвечать точнее».
