연구진이 마스크 디퓨전 언어 모델(dLLM)의 번역 길이 결정 문제를 해결하기 위해 새로운 길이 선택 방법인 Entropy-Valley(EV)를 제안했어요. EV는 예측 엔트로피를 활용하여 모델이 가장 잘 채울 수 있는 타겟 길이를 선택하며, 기존 방식 대비 성능을 향상시켰어요. 실험 결과, EV는 COMET-22 점수에서 최대 33%의 이득을 얻었으며, 전문가 평가에서도 번역 품질 향상을 확인했어요.
기존 연구가 토큰 가림 순서에 집중했던 것과 달리, EV는 타겟 길이를 결정하는 데 중요한 영향을 미치는 요소를 고려했어요. EV는 학습 과정 없이도 작동하며, 모델이 번역 과정에서 자연스럽게 길이를 조절하도록 돕는 역할을 해요.
LLaMA-3-8B 모델과 비교했을 때, EV 시스템은 일부 언어 쌍에서 동등하거나 더 나은 성능을 보였으며, 이는 타겟 길이를 결정하는 것이 토큰 공개 순서보다 더 중요하다는 것을 시사해요.