이 논문은 코드 에이전트가 리포지토리에 대한 고수준 운영 지식을 활용하는 방법을 연구해요. 기존에는 AGENTS.md 파일을 활용했지만, 효과에 대한 논쟁이 있었어요. 연구진은 가이드 생성 방식이 중요하며, 프로브 앤 리파인 튜닝이라는 새로운 방법을 제시했어요.
프로브 앤 리파인 튜닝은 LLM을 활용해 리포지토리 가이드 파일을 반복적으로 진단하고 수정하는 방식으로, 에이전트 루프나 도구 사용 없이 단일 LLM 호출로 이루어져요. Qwen3.5-35B-A3B 모델로 SWE-bench에서 테스트한 결과, 해결률이 33.0%로 기존 방식보다 5.7% 향상됐어요.
개선은 정밀도보다는 커버리지에서 비롯된 것으로 나타났으며, 가이드는 에이전트가 올바른 파일을 찾도록 돕는 역할을 해요. 또한, 가이드가 있으면 에이전트가 더 큰 단계를 효율적으로 사용할 수 있다는 점도 확인됐어요.
NVIDIA-Nemotron-3-Nano-30B-A3B 모델로 실험한 결과, 모델이 진단적인 출력을 생성하지 못하면 튜닝 루프가 저하되는 것을 확인했어요.