По сообщению TechFlow, 17 марта, по словам генерального директора Tether Паоло Ардоино, команда Tether AI представила новую версию QVAC Fabric, интегрирующую кроссплатформенный фреймворк BitNet LoRA, что позволяет осуществлять обучение и инференс больших моделей с миллиардами параметров на потребительских GPU и смартфонах.
Новая версия QVAC Fabric LLM впервые обеспечила кроссплатформенную работу тонкой настройки и инференса BitNet LoRA на GPU AMD, Intel, Apple Metal и мобильных GPU. На флагманских устройствах скорость инференса на GPU выше, чем на CPU, в 2–11 раз, потребление памяти снижено на 90% по сравнению с моделями полной точности. Команда Tether уже выполнила тонкую настройку моделей с параметрами до 3,8 миллиарда на флагманских телефонах, таких как Pixel 9, S25 и iPhone 16, и осуществила тонкую настройку моделей с параметрами до 13 миллиардов на iPhone 16. Соответствующий код открыт на GitHub.





