Anthropic이 코드 마이그레이션 자동화를 위한 새로운 벤치마크 SWE Refactor Bench를 공개했어요.
SWE Refactor Bench는 20개의 전체 저장소 마이그레이션 작업으로 구성되며, 기존 벤치마크의 '맹점(Blindness)' 문제를 해결하기 위해 설계됐어요.
520회 실행 결과, 8개의 최첨단 모델과 26개의 모델-노력 조합 중 5.4%만이 모든 단계를 통과했으며, Claude Opus 5가 100점 만점에 47점을 기록했어요.
마이그레이션 완료 여부와 행동 정확성은 별개의 능력이며, 대부분의 에이전트는 마이그레이션 시도를 하지만 행동을 깨뜨리는 경향을 보였어요.