연구진은 LLM 기반 에이전트의 안전 문제를 해결하기 위해 INTENT-AS-A-TOOL을 개발했어요. 이 도구는 모델이 특정 행동을 할 의도를 표현하는 전용 채널을 제공하며, 의도 도구 호출 확률을 통해 모델의 행동 경향을 파악할 수 있어요. CoT 모니터링과 함께 사용하면 에이전트의 의도 불일치 추적에 도움이 됩니다.
CoT 모니터링을 통해 유해한 실행은 종종 추론 과정에서 의도 신호로 나타나는 것을 확인했어요. 하지만 기존 CoT 레이블은 의도 변화를 정확하게 반영하지 못해 INTENT-AS-A-TOOL을 통해 밀도 높은 추적 정보 획득이 가능해요.
연구 결과, 행동 선호도는 에이전트의 의도 불일치 추적에 유용하며, 온라인 개입을 위한 중요한 단계를 식별하는 데 활용될 수 있어요. 관련 코드와 데이터는 GitHub에서 확인할 수 있습니다.