연구진이 Mixture of Experts (MoE) 기반 비전 인코더인 MoE-ViE를 개발했어요. MoE-ViE는 기존 방식보다 효율적으로 성능을 확장하며, 이미지와 비디오 이해 능력을 향상시켰어요.
가장 큰 모델은 SOTA 인코더의 76% 지연 시간으로 동일한 수준의 제로샷 성능을 달성했어요. LLM과 결합했을 때 이미지·비디오 벤치마크에서 기존 인코더를 능가했어요.
연구 결과는 GitHub에서 확인할 수 있으며, 기존 방식 대비 성능 향상과 효율적인 모델 설계 가능성을 보여줘요.