TechFlow より:11月19日、Open Athena は11月17日、Marin プロジェクトの Mochi 535B-A23B モデルが主要なプレトレーニングフェーズを完了し、57 個のトレーニングチェックポイントを公開したと発表した。そのうち10個は長文脈拡張フェーズ由来のものである。
Open Athena は、これらの中間チェックポイントは現時点でインストラクションファインチューニングや安全後トレーニングを経ていないとし、科学研究や追加のトレーニングのためのみに提供されるものであり、直接デプロイ可能なアシスタントとして使用するべきではないと述べている。
またチームは、調査により一部の一般的なプレトレーニングベンチマークにデータリークが存在することが判明し、これが Mochi と他のモデルとの公平な比較における報告可能な評価結果に影響を与える可能性があるとしている。





