TechFlow, Microsoft a annoncé l'ouverture du code source de Deep Speed Chat, un outil conçu pour aider les utilisateurs à entraîner des grands modèles linguistiques tels que ChatGPT, permettant ainsi à chacun de posséder son propre modèle similaire à ChatGPT.
Deep Speed Chat, construit sur la bibliothèque d'optimisation Deep Speed de Microsoft pour l'apprentissage profond, dispose de fonctions telles que l'entraînement et le raisonnement amélioré. Il utilise également la technologie RLHF (Reinforcement Learning with Human Feedback - apprentissage par renforcement avec retour humain), permettant d'accélérer l'entraînement jusqu'à plus de 15 fois par rapport aux systèmes existants, tout en réduisant considérablement les coûts. Par exemple, un modèle similaire à ChatGPT doté de 13 milliards de paramètres peut être entraîné en seulement 1,25 heure.
