연구진은 어텐션 토큰을 군 원소로 배치하는 새로운 방식인 Lie-Algebra Attention을 제안했어요.
Lie-Algebra Attention은 토큰의 점수를 학습 커널 대신 상대적인 자세의 대수적 노름으로 계산하며, 기존 방식으로는 접근할 수 없었던 아핀 완전 프레임 군을 포괄해요.
상대적인 기하학적 관계는 고유하며, 어텐션 점수는 블록 가중치 Frobenius 내적 하에 계산돼 불필요한 표현론적 기법을 배제해요.
SE(2), SO(3), Aff(2)에서의 실험 결과, Lie-Algebra Attention은 학습 가능한 MLP 커널과 유사한 성능을 보이며, 파라미터 수를 50~80배 줄이는 효과를 보여줬어요.