GRIP(Grounded Reasoning via Information-Restricted Premises)은 RAG 모델의 query dominance 문제를 해결하기 위한 새로운 방법입니다. GRIP는 증거 채널에 심각한 stochastic bottleneck을 적용하여 증거가 query에 없는 정보만 인코딩하도록 강제합니다. 다섯 가지 추론 벤치마크에서 GRIP는 기존 모델보다 성능이 뛰어나고 환각 현상을 73% 줄였습니다.
GRIP는 증거 채널의 정보 차원을 제한하여 query가 없는 정보만 인코딩하도록 합니다. 이를 통해 query와 latent state 간의 상호 정보량을 30배 줄이고, 증거 채널이 query와 덜 정렬된 공간을 차지하도록 합니다. 이는 query dominance 문제를 해결하는 핵심 원리입니다.
GRIP는 RAG 모델의 성능 향상과 환각 현상 감소에 기여하며, 증거 채널의 정보 차원 제한을 통해 query에 없는 정보만 인코딩하도록 유도합니다. 이는 RAG 모델의 효율성과 신뢰성을 높이는 데 중요한 역할을 합니다.