연구진은 언어 모델의 숨겨진 상태가 단일 텍스트의 구성 방식을 어떻게 보여주는지 분석했어요.
텍스트 내 토큰 위치의 '집계' 및 '차별화'라는 두 가지 속성을 측정하며, '집계'는 텍스트 전체를 안정적인 구성으로 통합하는 정도, '차별화'는 다른 토큰을 일시적으로 운반하는 정도를 나타내요.
이 분석은 모델 훈련 없이 단일 순방향 패스만으로 수행되었으며, 텍스트의 구조적 가치는 토큰의 벡터 자체보다는 텍스트 내에서의 위치 관계에 의해 결정된다는 것을 시사해요.