연구진은 NTK(Neural Tangent Kernel) 환경에서 지속적 적응 시 파국적 망각 현상을 함수 공간 관점에서 분석했어요. 새로운 작업 훈련은 교차 작업 커널을 통해 기존 작업 예측 드리프트를 유발하며, 새로운 작업 그래디언트 단계를 보기 전에 망각 벡터 예측을 제공해요.
망각은 기존 작업 NTK 고유 모드에서 집중되며, 동결된 선형 헤드에서는 취약한 랭크에 대한 크로네커 스케일링 규칙을 제공해요. 이는 기존 NTK 중첩 이론과의 관계를 명확히 하고, 파라미터 공간 정규화가 출력 공간 간섭을 놓칠 수 있는 이유를 설명해요.
연구 결과는 출력 공간 간섭을 목표로 하는 스펙트럴 정규화기를 개발하는 데 영감을 주며, 기존 방식의 파라미터 공간 정규화의 한계를 지적해요.