DreamGuard는 LLM 에이전트가 외부 도구를 사용할 때 발생할 수 있는 위험을 예측하고 사전 예방적으로 제어하는 새로운 가드레일입니다. 기존 가드레일은 현재 행동의 안전성만 평가하는 반면, DreamGuard는 위험이 시간에 따라 어떻게 변화하는지 모델링합니다. 4가지 벤치마크 실험 결과, DreamGuard는 기존 가드레일보다 안전성과 유용성 모두에서 뛰어난 성능을 보였으며, 평균 25ms의 낮은 지연 시간을 유지합니다.
DreamGuard는 위험 예측을 위해 컴팩트한 순환 잠재 상태를 유지하며, 이를 바탕으로 즉각적인 위험과 접두사 위험을 추론합니다. 이 정보를 바탕으로 행동 실행 전에 개입 결정을 내립니다.
DreamGuard는 LLM 에이전트의 안전성을 높이는 데 기여하며, 특히 장기적인 위험 관리에 효과적입니다.