연구진이 다양한 AI 에이전트 평가를 위한 통합 데이터셋 'Messier'를 공개했어요. 이 데이터셋은 30개 벤치마크, 714개 에이전트, 11,891개 작업, 74,205개 검증기를 포함하고 있어요.
Messier는 공개 벤치마크 점수를 통합하고, 전문 및 과학 분야의 6개 도메인에서 5개 에이전트의 실행 결과를 추가했어요. 이를 통해 벤치마크 유형별 성능 격차가 불균등하며, '함수 호출'은 포화 상태이고 '프로그래밍'이 가장 빠르게 개선되고 있다는 사실을 확인했어요.
연구진은 Messier를 활용해 Epoch의 평가 능력 지수 순위와 스피어만 상관관계 0.81의 일치를 보이는 능력 척도를 도출했으며, 이 척도는 도메인, 직업, 액션 공간 또는 검증기 유형에 따라 전문화될 수 있어요.