마이크로소프트가 Thinkingbox라는 에이전트 샌드박스와 벤치마크를 공개했어요. Thinkingbox는 격리된 도구 세션, 실행 추적, 최종 백엔드 상태 평가를 제공해요.
Thinkingbox-bench는 507개의 정책 기반 워크플로우를 포함하며, 소매, 호텔, 자동차 보험, 네오뱅크 IT 등 다양한 시나리오를 다뤄요.
최고 성능 모델도 20번의 시도 중 25%만 성공하는 낮은 통과율을 보여줘, 기존 방식으로는 상태 기반 비즈니스 작업을 신뢰성 있게 완료하기 어렵다는 점을 시사해요.
Thinkingbox와 Thinkingbox-Bench는 GitHub에서 공개되었으며, 상태 기반 비즈니스 작업의 신뢰성 평가에 기여할 것으로 기대돼요.