TechFlow 소식에 따르면 최근 풀체인 데이터 네트워크 Chainbase가 HuggingFace에서 암호화 분야 전용으로 개발한 대규모 언어 모델 Theia-Llama-3.1-8B를 오픈소스로 공개했다. 이 모델은 혼란도(Perplexity)와 BERT 점수 모두에서 시장의 주요 모델을 능가하며, 크립토 세계에 대한 이해력이 대부분의 주요 오픈소스 대규모 모델보다 뛰어나다.
Chainbase 팀은 독자적으로 CoinMarketCap 상위 2000개 프로젝트의 다양한 자료를 포함하는 최초의 전문 Web3 데이터셋을 구축했다. 이 데이터셋은 수작업과 알고리즘 필터링을 거쳐 학습 데이터의 정확성, 다양성 및 전문성을 보장한다. 이러한 데이터셋을 기반으로 팀은 LoRA 기술을 활용해 모델을 효율적으로 미세 조정했으며, DeepSpeed 등의 도구를 사용하여 학습 과정을 가속화했다. 또한 모델을 Q8 GGUF 형식으로 양자화함으로써 메모리 사용량을 크게 줄이고 추론 속도를 향상시켰다.
Theia-Llama-3.1-8B는 Chainbase가 암호화 분야 대규모 모델에 처음으로 도전한 결과물이며, 이미 Chainbase의 데모 인터랙티브 애플리케이션인 TheiaChat에 성공적으로 적용되어 현재 일일 활성 사용자가 30만 명을 넘었다고 한다.
즐겨찾기 추가
소셜 미디어 공유
