연구자들은 과학적 질문 발견 시스템을 평가하기 위해 전문가 평가, LLM 평가, 사례 연구 등 주관적인 방법을 사용해 왔습니다.
본 연구에서는 시스템이 과거 데이터를 기반으로 질문을 생성하고, 이후의 문헌에 접근하지 않고 질문을 동결한 후, 미래의 데이터를 통해 질문이 해결되었는지, 부분적으로 다루어졌는지, 독립적으로 제기되었는지, 혹은 무시되었는지, 그리고 질문의 기본 전제가 뒷받침되었는지 또는 반증되었는지 확인하는 역사적 역테스팅을 제안합니다.
연구팀은 2010~2024년까지의 천문학 데이터를 활용하여 프로토콜을 검증하고, 모델 가중치를 사용하지 않는 생성 방식이 LLM 기반 방식보다 더 나은 성능을 보임을 확인했습니다.