Microsoft Research에서 트랜스포머의 단기적인 예측 한계를 극복하기 위해 NextLat라는 새로운 자기 지도 학습 방법을 발표했어요. NextLat은 트랜스포머가 주변 환경을 압축하여 추론 및 계획을 수행하도록 훈련하는 방식이에요.
NextLat은 현재 잠재 상태와 다음 토큰을 기반으로 트랜스포머의 다음 잠재 상태를 예측하도록 훈련하여, 데이터 효율성을 높이고 더 빠른 추론을 가능하게 해요. 특히 자기 예측 디코딩을 통해 최대 3.3배 빠른 추론 속도를 달성했어요.
연구팀은 NextLat이 주변 환경을 압축하는 표현 학습을 촉진하고, 토큰 예측보다 밀집된 감독 신호를 제공하며, 재귀적 다단계 예측을 통해 추론 속도를 향상시킨다고 설명해요.