텐센트가 MoE(Mixture-of-Experts) 아키텍처 기반의 거대 언어 모델 Hunyuan Hy4-preview를 공개했어요. 총 7700억 개의 파라미터를 가지고 있으며, 토큰당 490억 개가 활성화돼요.
DeepSeek와 GLM에 영감을 받아 Gated DSA(Gated DeepSeek Sparse Attention)와 IndexCache를 활용한 새로운 어텐션 모듈을 적용하고, iHC(identity Hyper-Connections)를 통해 레이어 간 정보 흐름을 확장했어요.
Hunyuan Hy4-preview는 텍스트 생성 파이프라인을 지원하며, Hugging Face, ModelScope, cnb.cool, GitCode 등 다양한 플랫폼에서 사용할 수 있어요.