Meta가 모바일 기기용 Mixture-of-Experts(MoE) 언어 모델 'MobileMoE' 패밀리를 공개했어요. S/M/L 세 가지 규모(0.3B/0.5B/0.9B 활성 파라미터)로 출시되며, 각 모델은 Base, SFT, QAT 세 가지 변형을 제공해요.
MobileMoE-L-Base 모델은 5.3B 총 파라미터, 922M 활성 파라미터로 구성되며, 8,192 토큰의 컨텍스트 길이를 지원하고 BF16 정밀도로 학습됐어요.
MobileMoE는 FAIR NC 라이선스로 공개되었으며, 모바일 기기의 제한된 DRAM 환경에서도 고품질 LLM을 구동할 수 있도록 설계됐어요.