연구진이 해석 가능한 AI 아키텍처 설계를 위한 새로운 그래픽 표기법을 제안했어요. 이 표기법은 펜로즈 텐서 표기법을 기반으로 하며, 아키텍처의 전체적인 모습을 보여주고 PyTorch 코드로 직접 변환할 수 있어요. Steerling-8B 모델의 핵심 구성 요소를 다이어그램으로 표현하여 구조적 통찰력과 개별 연산의 기하학적 해석을 제공했어요.
기존의 기호 방정식이나 확률적 그래프 모델, 흐름도 방식은 아키텍처의 전체적인 시각을 제공하지 못하거나 텐서 조작을 숨겨 재현성을 제한하는 문제점이 있었어요. 새로운 표기법은 이러한 한계를 극복하고, 개념 병목 현상, 희소 프로브, 프로토타입 네트워크 등 다양한 해석 가능한 아키텍처를 설명하는 데 활용돼요.
Steerling-8B 모델의 다이어그램은 잔차 모델이라는 구조적 통찰력을 제공하고, 각 연산의 기하학적 해석과 함께 33줄의 PyTorch 코드로 직접 변환할 수 있도록 지원해요.