연구진이 GELU, SiLU, SwiGLU 활성화 함수와 멀티헤드 어텐션, MoE 아키텍처 등 현대 신경망 아키텍처의 보존 법칙을 분석하는 프레임워크를 개발했어요. 기존 연구에서 선형 및 ReLU 네트워크에 대해 밝혀진 보존 법칙을 현대 아키텍처로 확장하는 내용입니다. 이론적 분석 결과는 실험을 통해 검증됐어요.
GELU, SiLU, SwiGLU 활성화 함수, 멀티헤드 어텐션, MoE 아키텍처 등 다양한 현대 신경망 아키텍처에 대한 보존 법칙을 통일된 프레임워크로 설명하는 데 초점을 맞췄어요. 기존 연구를 바탕으로 새로운 이론적 발견을 제시했습니다.
연구진은 예측된 불변량을 검증하는 실험을 진행했고, 이론적 분석 결과가 실험 결과와 일치하는 것을 확인했어요. 이를 통해 현대 신경망 아키텍처의 작동 원리에 대한 이해를 높이는 데 기여할 것으로 보입니다.