Исследователи OpenAI высоко оценили совместное решение AMD и Cerebras для ИИ-инференса, прогнозируя пятикратный рост производительности на ватт.

По данным TechFlow, 29 июля исследователь OpenAI Джеффри Уанг оценил показатели совместно разработанного AMD и Cerebras ИИ-решения для инференса как «невероятные». Данное решение объединяет серверную стойку AMD Helios и платформенный кристалл Cerebras, которые распределяют задачи по обработке промптов и генерации токенов, что, по оценкам, способно увеличить количество токенов в секунду на ватт мощности в 5 раз. Такая архитектура оптимизирует производительность вывода за счет гетерогенных вычислений, подтверждая непрерывный интерес ведущих ИИ-лабораторий к снижению затрат на инференс.