연구진이 텍스트-이미지-비디오(TI2V) 모델의 성능을 향상시키는 하이브리드 정책 자기 증류(HPSD) 프레임워크를 제안했어요.
HPSD는 모델이 고품질 첫 프레임과 향상된 프롬프트를 사용하는 TI2V 모드와 일반 프롬프트를 사용하는 기본 텍스트-비디오(T2V) 모드에서 동시에 작동하도록 설계돼요.
자기 증류를 통해 교사의 우수한 사전 지식을 흡수하고 정확한 정책 수정을 유지하는 것을 목표로 해요.
실험 결과, HPSD는 T2V 성능을 크게 향상시키고 TI2V 성능도 개선하며 모델의 기본 생성 능력을 강화했어요.