Pulse · AI 뉴스

MDLMPE: 마스크 확산 언어 모델을 위한 분포 인식 위치 인코딩

MDLMPE · 2026-08-04

연구진은 마스크 확산 언어 모델(MDLM)의 위치 맥락 차이를 해결하기 위해 MDLMPE를 제안했어요.

MDLMPE는 토큰 가용성을 이진 시퀀스로 표현하고, 가우시안 가중치와 코사인 기반을 활용하여 분포 인식 위치 특징을 생성해요.

LLaDA와 DREAM 실험 결과, MDLMPE는 기존 위치 인코딩 방식보다 지도 학습, 사전 학습, 제로샷 평가 등 다양한 환경에서 성능이 우수했어요.

##MDLMPE##마스크확산##위치인코딩##LLaDA##DREAM
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기