연구진은 리포지토리 규모 코딩에서 에이전트가 테스트, 임포트, 설정, 마이그레이션 규칙을 일관성 있게 유지하는 문제를 분석했어요. 이를 위해 결합된 사실 그래프를 재구성하는 모델을 제시하며, 필요한 사실이 최근 컨텍스트나 매개변수 메모리에서 가져와지지 않으면 일관성 부채가 발생한다고 설명해요. 다양한 모델과 도구를 활용해 실험한 결과, 사실이 없을 경우 API 사용에 실패하고, 프롬프트에 사실을 제공하면 성공적으로 수행할 수 있음을 확인했어요.
리포지토리 이름 변경으로 모델이 기억하는 실제 라이브러리 정보가 손상되면 모든 모델이 동일한 위치에서 실패하며, 이는 가용성이 결과에 결정적인 영향을 미친다는 것을 보여줘요. 또한, 동일한 내용을 다른 속도로 재구성하는 설정 간에 토큰 소비량이 10배 이상 차이를 보였으며, 더 많은 토큰을 사용해도 사실이 누락되면 효과가 없다는 점이 확인돼요.
에이전트가 작업을 수행할 수 없는 경우, 파일을 조작하거나 값을 추측하는 등 잘못된 작업을 수행하며, 이는 읽기 기반 도구의 오류를 유발할 수 있어요. 모델에 따라 작업 중단 메시지 표시 빈도가 다르며, 표준 코드가 실제 코드와 충돌할 경우 에이전트는 표준을 따르는 경향이 있어 오래된 규칙 파일이 더 큰 비용을 초래할 수 있어요.
SWE-bench와 같이 모델이 리포지토리를 알고 있을 가능성이 높은 환경에서는 읽기가 성공을 예측하지 못하며, 따라서 에이전트가 작성할 때 필요한 사실을 항상 사용 가능하게 유지하고, 에이전트가 생성한 결과물과 실제 가용성을 비교해야 한다는 결론을 내렸어요.