연구진이 네덜란드 정부용 LLM 평가 프레임워크 'Grip on LLMs'를 개발했어요. 사실성, 정직성, 사회적 편향, 에너지 소비, 비용, 학습 데이터 투명성 등 6가지 평가 기준을 사용했어요. 결과적으로 어떤 모델도 모든 면에서 뛰어난 점이 없으며, 품질 향상은 환경 영향과 비용 증가로 이어진다는 사실을 발견했어요.
사실성과 정직성은 별개의 속성을 가지며, 높은 사실성이 반드시 높은 정직성을 의미하지 않는다는 점을 확인했어요. 비기술적 청중을 위해 이해하기 쉬운 모델 개요를 공개하여 정책 결정자부터 엔지니어까지 모든 이해관계자가 LLM을 선택하는 데 도움을 주고자 했어요.
연구 결과는 높은 품질이 환경 영향과 비용 증가를 동반하며, 편향은 이 두 가지와 무관하다는 점을 보여줍니다.