과학기술정보통신부가 독자 AI 파운데이션 모델(독파모) 2차 단계평가 결과를 공개하며, 모티프테크놀로지스가 벤치마크 점수를 문제 삼아 이의를 제기했어요.
모티프는 AAII 벤치마크에서 높은 점수를 받았지만, NIA 한국어 벤치마크에서는 최하위였고, 전문가 및 사용자 평가에서도 뒤쳐졌어요. AAII는 샌프란시스코 소재 민간 분석회사가 운영하는 합성 지표로, 국제적으로 널리 인용되지만 공식적인 평가 지표는 아니에요.
이번 논란은 외부 지표의 활용과 평가 기준의 객관성, 그리고 한국어 모델의 토큰 효율성 문제를 제기하며, 정부는 평가 절차 개선과 정량 평가의 한계를 보완해야 할 필요가 있어요.