OpenAI publie LifeSciBench : une évaluation des capacités des systèmes d’IA dans des scénarios de recherche scientifique réels

TechFlow annonce qu’OpenAI a lancé, le 18 juin, une nouvelle référence d’évaluation appelée LifeSciBench, conçue pour mesurer les capacités des systèmes d’intelligence artificielle dans des scénarios scientifiques réels. LifeSciBench repose sur 750 tâches rédigées par des experts, couvrant sept types de flux de travail scientifique et sept domaines de la biologie. Ces tâches ont été élaborées par 173 chercheurs titulaires d’un doctorat et possédant une expérience professionnelle dans les secteurs des biotechnologies ou de l’industrie pharmaceutique. Cette référence met l’accent sur l’évaluation de compétences scientifiques complexes, notamment l’intégration de preuves, la conception d’expériences, l’analyse de données, le raisonnement scientifique et la communication scientifique, plutôt que sur des questions factuelles isolées. Plus de 79 % des tâches impliquent un raisonnement en plusieurs étapes, chaque question nécessitant en moyenne environ quatre étapes de raisonnement, et incluent 1 062 pièces jointes réelles liées à la recherche (telles que des articles scientifiques, des graphiques, des séquences génétiques et des fichiers de structures moléculaires, entre autres).