연구에 따르면 검색 증강 QA 시스템은 인덱스 확장 후에도 모델 식별자, 프롬프트, 검색 정책 등이 동일해도 다른 답변을 반환할 수 있습니다.
집계 정확도는 이득과 손실이 상쇄될 때 이러한 변화를 숨길 수 있으며, 일반적인 생성 변동성은 일회성 비교를 통해 업데이트 효과를 과장시킵니다.
연구진은 이 현상을 '정확도 무시 답변 변화'라고 명명하고, 동일 스냅샷 반복 불일치를 교차 스냅샷 불일치에서 빼서 과도한 답변 변화를 추정하는 '스냅샷 호환성 감사'를 도입했습니다.
Natural Questions 연구 결과, 정확도 변화는 -1.50%에 불과했지만, 과도한 답변 변화는 최대 10.25%에 달했습니다.