Tether AI выпустила в открытый доступ TurboQuant и интегрировала его в QVAC SDK 0.12.0

TechFlow сообщает, что 1 июня Tether AI объявила о выпуске открытого решения TurboQuant и включении его в пакет SDK QVAC версии 0.12.0. Эта технология основана на алгоритме сжатия памяти, разработанном исследовательской группой Google Research, и позволяет сжимать кэш ключ-значение (KV) при работе крупных языковых моделей примерно в 5 раз, сохраняя при этом высокое качество генерируемых результатов и снижая потребление памяти на локальных и периферийных устройствах.

Компания Tether отмечает, что TurboQuant поддерживает обработку более длинных диалогов, объёмных документов и сложных рабочих нагрузок на ноутбуках, смартфонах, потребительских GPU, периферийных устройствах, а также в децентрализованных сетях вывода. Доступ к технологии уже открыт для разработчиков через платформу Fabric.