TechFlow, récemment, le réseau de données entièrement intégré Chainbase a annoncé sur HuggingFace l'ouverture du code source de son grand modèle linguistique Theia-Llama-3.1-8B spécialement conçu pour le domaine de la cryptographie. Ce modèle surpasse les modèles dominants du marché tant en perplexité qu'en score BERT, démontrant ainsi une compréhension du monde crypto supérieure à celle de la plupart des grands modèles open source actuels.
L'équipe Chainbase a innové en créant le tout premier jeu de données spécialisé dans le Web3, rassemblant divers documents relatifs aux 2000 premiers projets de CoinMarketCap. Ce jeu de données a été soigneusement filtré manuellement et par algorithmes afin d'assurer précision, diversité et professionnalisme des données d'entraînement. Sur cette base, l'équipe a appliqué efficacement la technique LoRA pour affiner le modèle, tout en utilisant des outils tels que DeepSpeed pour accélérer le processus d'entraînement. En outre, le modèle a été quantifié au format Q8 GGUF, réduisant considérablement l'utilisation mémoire et améliorant la vitesse d'inférence.
Leia-Llama-3.1-8B constitue la première étape de Chainbase dans le développement de grands modèles pour le secteur de la cryptographie. Le modèle est déjà intégré avec succès dans TheiaChat, une application interactive de démonstration de Chainbase, qui compte actuellement plus de 300 000 utilisateurs actifs par jour.
