TechFlow đưa tin, gần đây, mạng lưới dữ liệu toàn chuỗi Chainbase đã công bố mã nguồn mô hình ngôn ngữ lớn (LLM) Theia-Llama-3.1-8B dành riêng cho lĩnh vực tiền mã hóa trên nền tảng HuggingFace. Mô hình này vượt trội hơn các mô hình phổ biến trên thị trường về độ đo perplexity và điểm số BERT, thể hiện khả năng hiểu biết thế giới crypto tốt hơn đa số các mô hình LLM mã nguồn mở hàng đầu hiện nay.
Đội ngũ Chainbase đã sáng tạo xây dựng bộ dữ liệu Web3 chuyên biệt đầu tiên, thu thập thông tin đa dạng từ 2000 dự án hàng đầu trên CoinMarketCap. Bộ dữ liệu được lọc kỹ lưỡng bằng cả phương pháp thủ công và thuật toán nhằm đảm bảo tính chính xác, tính đa dạng và chuyên môn cao của dữ liệu huấn luyện. Dựa trên bộ dữ liệu này, nhóm sử dụng kỹ thuật LoRA để tinh chỉnh hiệu quả mô hình, đồng thời tận dụng các công cụ như DeepSpeed để tăng tốc quá trình huấn luyện. Ngoài ra, mô hình đã được lượng tử hóa định dạng Q8 GGUF, giúp giảm đáng kể mức sử dụng bộ nhớ và cải thiện tốc độ suy luận.
Theo thông tin, Theia-Llama-3.1-8B là bước thử nghiệm ban đầu của Chainbase trong việc phát triển mô hình lớn cho lĩnh vực tiền mã hóa, và mô hình này đã được ứng dụng thành công vào ứng dụng tương tác dạng DEMO của Chainbase mang tên TheiaChat, hiện đang có hơn 300.000 người dùng hoạt động mỗi ngày.
