연구진은 레이어 간 HLA LLM에서 대규모 활성화(MA)를 처음으로 체계적으로 연구하여 사전 주의 스파이크(PAS)와 스파이크 간 플랫폼(ISP)이라는 두 가지 아키텍처 연관 형태를 발견했어요.
전체 주의가 밀도가 높아질수록 연속적인 PAS는 ISP를 통해 점점 더 연결되어 전체 주의 LLM의 안정적인 MA 형태를 회복해요.
연구 결과는 5가지 선형 주의 아키텍처, 6가지 하이브리드 구성, 5가지 데이터 도메인, 12억~3970억 파라미터 규모의 대표적인 오픈 소스 하이브리드 모델에서 반복적으로 나타났어요.