연구진이 비디오 확산 모델(VDM)을 활용하여 시야각 손 운동 회수 성능을 높이는 DreamHand 프레임워크를 공개했어요. DreamHand는 가려진 손이나 시야에서 벗어난 손의 정보를 복원하여 3D 손 운동 회구 정확도를 향상시킵니다.
DreamHand는 Deterministic Clean-Latent Encoder로 특징을 추출하고 Bidirectional Spatiotemporal Decoder로 복원하는 오프라인 클립 레벨 프레임워크예요. Ray-Based Camera Solver를 통해 테스트 시 카메라 내재 정보 없이도 사용 가능합니다.
ARCTIC 벤치마크에서 MPJPE-p를 30% 줄이고 HOT3D 벤치마크에서 40% 줄이는 성능 향상을 보였으며, 시야에서 벗어난 손을 포함한 평가에서는 최대 61%의 성능 향상을 기록했어요.