연구진은 혼합 전문가(MoE) 모델의 자가 증류 과정에서 라우팅 불일치가 행동 영향을 나타내는 증거가 아니라는 점을 밝혀냈습니다. 라우팅 용어는 블록 출력의 1.6배에 불과하며, 잔류 스트림 노출은 3.2배에 달하는 것으로 나타났습니다. PubMedQA 데이터셋에 대한 실험 결과, 라우팅 용어는 자연스러운 맥락 효과의 절반 미만을 이동하며, 정규화된 노이즈에 의해 대부분 재현됩니다.