OmniPack은 오디오·비디오 LLM의 효율성을 높이기 위해 개발된 새로운 프레임워크로, 구조적 압축과 의미 기반 정교화 단계를 거칩니다.
OmniPack은 LLM 전에 구조적 중복을 제거하고, LLM 내부에서는 다양한 표현을 텍스트 가이드와 오디오·비디오 협업을 통해 통합합니다.
Qwen2.5-Omni-7B 모델에서 OmniPack은 원래 성능의 98%를 유지하면서 FLOPs를 16.7%로 줄였으며, 6.8%의 FLOPs만으로도 92.9%의 성능을 유지했습니다.