TechFlowの報道によると、Web3 AIプラットフォームMyShellとMITコンピュータサイエンス・人工知能研究所(CSAIL)は共同で、新しいタイプの大規模言語モデル(LLM)「JetMoE-8B」を発表しました。論文のデータによれば、このモデルの訓練コストは10万ドル未満でありながら、Llama2-7Bの性能を上回り、チャットタスクにおいては数十億ドルもの訓練リソースを投入したLlama2-13B-Chatさえも凌駕しています。JetMoE-8Bは非常にオープンで学術界にやさしい設計となっており、訓練には公開データセットのみを使用し、コードも完全にオープンソース化されています。独自の専有リソースを必要とせず、多くの研究室が負担可能な限られた計算予算(例えば民生用GPUなど)で微調整が可能です。





