연구진은 루브릭을 프롬프트 컨텍스트나 단순 기준 목록으로 취급하는 기존 방식의 한계를 지적하며, 그래프 구조 루브릭(GSR)을 제안했어요. GSR은 응답에 독립적인 타입화된 평가 그래프로 루브릭을 컴파일하여 기준을 구성하고 평가 과정을 명확하게 합니다. GPT-OSS-120B 모델을 활용한 실험에서 GSR은 기존 방식보다 정확한 점수 일치율을 6.75%까지 향상시켰어요.
GSR은 기준 노드에서 판단을 이끌어내고, 변환, 축소, 게이팅 연산자를 통해 기준을 구성하며, Readout을 통해 최종 점수나 선호도를 결정합니다. 그래프 컴파일 과정에서 오류나 타입 불일치를 감지하여 평가의 신뢰성을 높입니다.
GSR은 포인트별 평가 시 각 차원을 개별적으로 판단하고 그래프를 통해 통합하며, 페어와이즈 평가 시 각 후보에 대해 모든 기준을 재사용하여 효율성을 높여요. 이를 통해 LLM 평가의 정확성과 효율성을 향상시킬 수 있습니다.