연구진은 터미널 보상이 중간 오류를 찾거나 진행 중인 경로를 수정하지 못하는 문제를 해결하기 위해 CAFE(Coupled Agent–Feedback Evolution) 프레임워크를 소개했어요.
CAFE는 공유 파라미터 모델을 사용하여 검색 에이전트와 비평가 역할을 번갈아 수행하며, 에이전트가 피드백을 요청하고 사용하는 시점을 결정하고 비평가가 결과에 영향을 받는 롤아웃에서 유용한 수정을 추론하도록 훈련해요.
7개의 검색 벤치마크에서 CAFE는 기존 RL 기반 검색 에이전트보다 우수한 성능을 보였고, 6개의 외부 도메인 벤치마크에서도 이점을 유지하며 답변 수준의 환각 현상을 줄였어요.