연구진은 부분 관측 강화 학습에서 에피소드 탐색 보너스와 다양한 신경망 메모리 아키텍처의 상호작용을 분석했어요. 세 가지 환경에서 동일한 보너스 신호가 발견 방식에 따라 세 가지 상호작용 패턴을 보였어요. 보너스는 메모리 내용이 적극적으로 발견되고 유지되어야 하는 경우 아키텍처 용량 차이를 증폭시키고, 메모리 내용이 한 번 탐색되면 단일 보상 감독 신호가 되는 경우 아키텍처를 균등화하며, 관측 스트림이 순전히 예약되는 경우 효과가 없어요.
보상 조작을 통해 이러한 패턴이 보상 구조를 반영하며 밀도를 반영하지 않는다는 것을 확인했어요. 보상이 필요한 잠재 메모리를 직접 감독하는 경우에만 밀도가 보너스를 중화하고, 탐색 행동에 작은 불필요한 패널티가 주어지면 정책이 최적의 고정 상태로 수렴하며, 보너스는 이를 해결해요.
연구진은 관측 기반 보상 머신으로 보상 희소성을 공식화하여 구조적 희소성(오토마톤이 작업에 필요한 기록 없이 수익을 재현)과 잠재적 희소성(1단계 보상이 지역 탐색적 행동을 잘못 가격)을 분리했어요.
결과적으로 탐색과 메모리는 대체재가 아닌 상호 보완적인 관계임을 보여주며, 보너스는 노출을 유도하고, 메모리는 노출을 수익으로 전환해요.