OpenAI, ‘LifeSciBench’ 공개: 실제 과학 연구 상황에서 AI 시스템의 능력을 평가

TechFlow 보도에 따르면, 6월 18일 OpenAI는 실제 과학 연구 상황에서 AI 시스템의 역량을 평가하기 위한 새로운 평가 벤치마크 ‘LifeSciBench’를 발표했다. 이 벤치마크는 전문가들이 직접 작성한 750개의 과제를 기반으로 하며, 총 7가지 연구 워크플로우와 7개 생물학 분야를 아우른다. 해당 과제들은 바이오테크놀로지 또는 제약 산업 분야에서 실무 경험을 갖춘 박사 학위 소지자 173명으로부터 수집되었다. LifeSciBench는 단순한 사실 확인 문제보다는 복잡한 과학 연구 역량을 평가하는 데 초점을 맞추며, 근거 통합, 실험 설계, 데이터 분석, 과학적 추론, 연구 커뮤니케이션 등 다양한 능력을 종합적으로 측정한다. 전체 과제의 79% 이상이 다단계 추론을 요구하며, 각 문제당 평균 약 4단계의 추론 과정이 필요하다. 또한, 논문, 그래프, 서열 데이터, 구조 파일 등 실제 과학 연구와 관련된 1,062개의 데이터 첨부 파일을 포함한다.