TechFlow đưa tin, ngày 17 tháng 3, theo tiết lộ của Paolo Ardoino – Giám đốc điều hành Tether, đội ngũ Tether AI vừa ra mắt phiên bản mới của QVAC Fabric, tích hợp khung BitNet LoRA đa nền tảng, cho phép huấn luyện và suy luận các mô hình ngôn ngữ lớn (LLM) có quy mô hàng tỷ tham số trên GPU cấp tiêu dùng cũng như điện thoại thông minh.
Phiên bản mới của QVAC Fabric LLM lần đầu tiên đạt được khả năng chạy chéo nền tảng đối với việc tinh chỉnh và suy luận BitNet LoRA trên GPU của AMD, Intel, Apple Metal và thiết bị di động. Trên các thiết bị cao cấp, tốc độ suy luận bằng GPU nhanh hơn từ 2 đến 11 lần so với CPU, đồng thời mức sử dụng bộ nhớ giảm tối đa tới 90% so với mô hình độ chính xác đầy đủ. Đội ngũ Tether đã hoàn tất việc tinh chỉnh mô hình lên tới 3,8 tỷ tham số trên các điện thoại thông minh cao cấp như Pixel 9, S25 và iPhone 16, đồng thời thực hiện thành công việc tinh chỉnh mô hình lên tới 13 tỷ tham số trên iPhone 16. Mã nguồn liên quan đã được công khai trên GitHub.
