연구진은 생성 UI 평가의 객관성 문제를 해결하기 위해 Evidence-Grounded, Social-Weighted Persona Panel (ESPP)이라는 새로운 방법을 제안했어요. ESPP는 심리적으로 다양한 페르소나 패널이 증거 기반으로 평가하고 의견을 교환하며 사회적 가중치를 통해 종합적인 판단을 내리는 방식이에요.
ESPP는 기존 단일 LLM 평가 방식보다 인간의 판단을 더 잘 반영하며, Pearson 상관계수를 0.716에서 0.922로 향상시켰어요. 페르소나와 증거 기반의 중요성을 보여주는 결과입니다.
패널 평가 결과, 사용자 하위 그룹은 전체 모델 순위에서는 일치하지만 특정 평가 차원에서 뚜렷한 의견 차이를 보이는 것으로 나타났으며, 이는 단일 평가관으로는 파악하기 어려운 구조적 불일치입니다.