VAKRA는 기업 환경에서 API와 지식 검색 능력을 평가하는 새로운 벤치마크입니다. 62개 도메인의 8,000개 이상 API를 활용하여 다양한 난이도의 작업을 평가합니다. 모델 성능은 API 재실행을 통해 검증하며, 현재 최고 성능 모델도 단일홉 작업에서 70.4%의 정확도를 기록할 뿐, 복합 API에서는 50~51%로 성능이 저하됩니다.
VAKRA는 정책 기반의 질문에서 모델의 심각한 오류를 드러내며, 추론 깊이가 증가함에 따라 성능이 50% 이상 저하되는 것을 확인했습니다. 분석 결과, 모델은 개체 명확화, 교차 소스 기반 설정과 같은 언어 기반 추론에서 어려움을 겪는 것으로 나타났습니다.
코드와 데이터셋은 GitHub와 Hugging Face에서 공개되었으며, VAKRA는 API와 지식 검색 능력을 평가하는 데 유용한 도구가 될 것입니다.