OpenAI представила LifeSciBench: оценка возможностей ИИ-систем в реальных сценариях научных исследований

По сообщениям TechFlow, 18 июня OpenAI представила новый бенчмарк LifeSciBench, направленный на оценку возможностей систем ИИ в реальных исследовательских сценариях. Сообщается, что LifeSciBench основан на 750 задачах, составленных экспертами, охватывающих 7 типов исследовательских рабочих процессов и 7 областей биологии. Задачи были подготовлены 173 исследователями с докторской степенью и опытом работы в биотехнологической или фармацевтической отрасли. Данный бенчмарк делает акцент на оценке сложных исследовательских компетенций, включая синтез доказательств, дизайн экспериментов, анализ данных, научные рассуждения и научная коммуникацию, а не просто на вопросах, требующих знания отдельных фактов. Более 79% задач включают многошаговые рассуждения, в среднем каждая задача требует около 4 шагов рассуждений и включает 1 062 реальных приложения с данными, связанными с исследованиями (такие как статьи, графики, данные последовательностей и файлы структур и т. д.).