연구진이 위치 인코딩 없이 순차 정보를 처리하는 새로운 언어 모델 아키텍처인 ZetaGPT를 공개했어요. ZetaGPT는 상태 공간 방정식을 활용해 어텐션 계산 전에 위치 정보를 암묵적으로 인코딩하며, 기존 모델처럼 명시적인 위치 인코딩을 사용하지 않아요. 연구용, 빠른 프로토타이핑, 알고리즘 검증, 교육용으로 활용 가능한 오픈소스 모델로, 데이터 구축부터 RLHF까지 전체 훈련 파이프라인을 제공해요.