사용자 Zironic이 H3 어텐션 노드의 다양한 희소화 비율에 대한 실험 결과를 공유했어요. 10% 미만 희소화 시 영상의 시각적 깨짐 현상이 나타나지만, 50%까지도 의미론적 변화가 관찰돼요. 초기 단계에서 어텐션 비율을 높이면 의미론적 일관성을 회복할 수 있어요.
Zironic은 어텐션 비율을 점진적으로 낮추는 'Denser Early ramp' 방식을 구현했는데, 가장 좋은 결과를 얻었어요. LTX Turbo 8-step LoRA와 함께 희소화 어텐션을 사용하는 것도 가능해요.
실험 데이터는 Hugging Face 데이터셋에서 확인할 수 있어요.