연구진이 페르시아어 의료 질문 답변 시스템을 위한 소형 언어 모델 Gaokerena 패밀리를 공개했어요.
Gaokerena-V는 9천만 토큰의 페르시아어 의료 데이터와 2만 건의 의사 Q&A 페어를 활용해 개발됐으며, 번역된 의료 MMLU 벤치마크 점수를 46.28%에서 49.31%로 향상시켰어요.
Gaokerena-R은 Chain-of-Thought 방식과 RLAIF 프레임워크를 통합해 52.98%의 더 높은 벤치마크 점수를 달성했으며, 모델의 응답에 대한 신뢰도를 예측하는 불확실성 헤드도 탑재했어요.