AI4AI-벤치는 LLM 에이전트가 알고리즘을 설계하여 재귀적 자기 개선을 달성할 수 있는지 측정하는 새로운 벤치마크입니다. 10개의 연구 저장소를 활용하여 에이전트가 4시간 동안 기존 알고리즘을 수정하고, 수정된 코드는 최대 12시간 실행되며 고정된 평가 기준으로 점수화됩니다.
에이전트는 10개의 서로 다른 알고리즘 패밀리에 대한 10개의 작업에서 훈련 알고리즘을 재작성하며, 평균 점수는 0.166점, 최고 성능은 0.250점을 기록했습니다. 이는 기존 알고리즘과 최적 알고리즘 간의 격차를 5분의 1도 채우지 못한 수치입니다.
대부분의 에이전트는 학습 방식을 변경하지 않지만, 소수 에이전트는 평균 0.226점을 기록하며, 이는 나머지 에이전트의 평균 0.126점보다 높은 수치입니다. 더 많은 추론 노력을 기울이면 학습 방식 변경에 대한 의지가 높아져 소수 에이전트의 비율이 8%에서 64%로 증가하고 평균 점수는 0.094점에서 0.196점으로 상승했습니다.