연구진은 대규모 모델의 능력을 작은 모델로 전달하는 새로운 방법을 제시했어요. 기존 방식은 학습 시간 동안 파라미터를 업데이트하는 반면, 이 연구는 테스트 시간 동안 하네스를 활용해 약한 모델의 성능을 향상시켰어요.
이 방법은 4가지 Theory-of-Mind 벤치마크에서 평균 성능을 0.49에서 0.91로 거의 두 배 향상시켰으며, 불안정한 모델 추론을 결정적인 코드로 옮기고, 벤치마크별 라우팅을 활용하며, 엄격한 답변 형식을 적용하는 방식으로 작동해요.
연구 결과, 빌더 모델의 노력은 하네스 품질을 향상시키며, 플랫폼 효과는 빌더 모델의 능력에 비해 미미하며, 약한 모델일수록 더 큰 성능 향상을 얻는다는 것을 확인했어요.