По данным TechFlow, 23 ноября главный ученый OpenAI Jakub Pachocki в своей статье предложил разработчикам передовых моделей установить общую верхнюю границу развития ИИ, опираясь на такие метрики, как перплексия, и не превышать ее до тех пор, пока возможности понимания и мониторинга поведения ИИ не достигнут конкретных целевых показателей.
Он предложил отрасли выработать единые стандарты в сфере оценки моделей, red-тиминга и прозрачности, а также использовать перплексию в качестве референсной метрики для сравнения прогресса предобучения среди разных разработчиков. Одновременно он указал, что из-за различий в наборах данных и обучающих массивах в различных лабораториях перплексия не позволяет полностью отразить прогресс во всех компетенциях за пределами предобучения.
Pachocki прогнозирует, что по мере снижения логарифмической перплексии до значений в диапазоне 0,68–0,7 у моделей могут появиться новые революционные способности, конкретный перечень которых на данный момент остается неясным.





