연구진이 복합 지구 시스템 분석 에이전트의 성능을 평가하는 벤치마크 'EarthVerse'를 공개했어요. 199건의 사건과 19개 자연재해 유형을 기반으로 405개의 재현 가능한 과제를 포함하고 있어요.
에이전트는 다양한 증거를 검토하고, 도구를 선택하며, 계산을 수행하고, 출처 차이를 조정하는 과정을 거쳐 최종 답변을 도출해요. 이때 연구 과정의 투명성을 유지하고 증거 출처를 보존하는 것이 중요해요.
현재 에이전트는 개별 단계는 수행하지만, 증거, 규모, 단위, 계산, 물리적 해석을 일관되게 연결하는 데 어려움을 겪는 것으로 나타났어요. EarthVerse는 과학적 신뢰성을 측정하는 기반을 제공해요.