TechFlowの報道によると、最近、全チェーンデータネットワークChainbaseはHuggingFace上で暗号分野向けに開発された大規模言語モデル「Theia-Llama-3.1-8B」をオープンソースとして公開した。このモデルはパープレキシティ（Perplexity）およびBERTスコアにおいて市場の主要モデルを上回り、Crypto世界に対する理解力が多数の主流オープンソース大規模モデルを凌駕している。
Chainbaseチームは独自に、Web3分野初の専門データセットを構築し、CoinMarketCapランキングトップ2000プロジェクトのさまざまな資料を収録した。このデータセットは手動およびアルゴリズムによるフィルタリングを経ており、トレーニングデータの正確性、多様性、専門性を確保している。このデータセットに基づき、チームはLoRA技術を用いて効率的にモデルのファインチューニングを行い、DeepSpeedなどのツールを利用してトレーニングプロセスを高速化した。さらに、モデルはQ8 GGUF形式に量子化されており、メモリ使用量を大幅に削減するとともに推論速度を向上させている。
報道によれば、「Theia-Llama-3.1-8B」はChainbaseが暗号分野における大規模モデル開発の最初の試みであり、すでにChainbaseのデモインタラクティブアプリ「TheiaChat」に成功裏に応用されており、現在の日次アクティブユーザー数は30万人を超えている。
お気に入りに追加
SNSで共有
