MyShell与MIT联合官宣大语言模型训练研究，LLaMA2级别的大语言模型训练成本仅为10万美金

首页 深潮精选 Research 项目发现 7x24h︎快讯 最新活动

7x24h快讯︎

2024.04.16 - 04月16日 14:21

深潮 TechFlow 消息，Web3 AI 平台 MyShell 与 MIT 计算机科学与人工智能实验室联合发布一种新型的大型语言模型（LLM）JetMoE-8B，根据论文数据，其训练成本不到 10 万美元，该模型的性能超越了Llama2-7B，甚至在基于聊天的任务中胜过了Llama2-13B-Chat，后者拥有数十亿美元的训练资源。JetMoE-8B 非常开放且对学术界友好，它仅使用公共数据集进行训练，并且代码是开源的，不需要专有资源。它可以通过大多数实验室可以承受的有限的计算预算（例如消费级 GPU）进行微调。

添加收藏

分享社交媒体

7x24h 快讯︎更多

04月30日 00:00: Kamino 将推出 KMNO 质押

04月29日 23:53: Coinbase将上线Neon EVM (NEON)

04月29日 23:45: AI+游戏发行平台Ultiverse金芯片NFT已发售

04月29日 23:42: Story Protocol 将于 5 月 9 日启动黑客松 v1.0 Buildathon

04月29日 23:38: 5 万枚 GNO 从未知钱包转移到 Gnosis 金库，约合 1648 万美元

深潮精选更多

: 加密悲歌：金钱换不来权力，世界是一个养套杀的草台班子
2024.04.29

: VC 社区大论战：a16z CTO 批评 MEME 币近似赌场，社区却乐在其中
2024.04.25

: Four Pillars 研报：IO.NET 如何带来更好的共享经济？
2024.04.25

: 从旁氏三盘理论看 MEME 币崛起
2024.04.25

: 何一致美国法官信件全文：一个更真实的赵长鹏是怎样的？
2024.04.25

7x24h快讯

MyShell与MIT联合官宣大语言模型训练研究，LLaMA2级别的大语言模型训练成本仅为10万美金

Web3 AI 平台 MyShell 与 MIT 计算机科学与人工智能实验室联合发布一种新型的大型语言模型（LLM）JetMoE-8B，根据论文数据，其训练成本不到 10 万美元，该模型的性能超越了Llama2-7B，甚至在基于聊天的任务中胜过了Llama2-13B-Chat，后者拥有数十亿美元的训练资源。JetMoE-8B 非常开放且对学术界友好，它仅使用公共数据集进行训练，并且代码是开源的，不需要专有资源。它可以通过大多数实验室可以承受的有限的计算预算（例如消费级 GPU）进行微调。

2024.04.1614:21:13