Comfy 팀에서 제공하는 잠재적 조작 도구를 활용해 MMH3 Turbo 오디오 품질 문제를 해결하는 방법을 제시했어요. 비디오와 오디오 잠재 데이터를 동시에 처리하는 방식 때문에 Turbo LoRA의 오디오 품질이 떨어지는 문제를 개선하기 위함이에요.
비디오 LoRA를 고정하고 오디오 잠재 데이터를 추가로 처리하여 오디오 품질을 향상시키는 방법으로, 4단계의 비디오 처리 후 6단계의 오디오 리파인(denoise)을 적용했어요. 이를 통해 오디오를 개선하면서도 비디오 잠재 데이터의 가이드라인을 유지할 수 있어요.
속도 문제를 해결하기 위해 텍스트 임베딩, 레퍼런스/컨디셔닝 행, 비디오 행을 동결하고, 이미 어느 정도 사전 컨디셔닝된 오디오 행만 처리하는 방식을 사용했어요. 이 방법을 통해 1MP, 10초짜리 영상에서 약 45초의 추가 생성 시간을 소요했어요.