Ox Alpha가 SWE-bench Verified Mini 50개 문제에서 96%의 높은 해결률을 기록했어요. 이는 Claude Fable 5와 비슷한 수준으로, 기존 모델보다 훨씬 높은 수치예요.
Django와 Sphinx 두 개의 저장소만 포함된 mini-50 데이터셋은 전체 SWE-bench Verified 데이터셋보다 쉬운 편이라 결과가 과장되었을 가능성이 있어요. 모델 학습 데이터에 포함되었을 가능성도 고려해야 해요.
OpenCode에서 제공하는 무료 엔드포인트로 테스트했는데, 서버 환경 문제나 캐싱 등으로 인해 결과가 왜곡되었을 수도 있어요. 자세한 설정과 결과 보고서는 공유할 예정이에요.