연구진이 LLM 아키텍처 정의 및 번역의 어려움을 해결하기 위해 Axon이라는 도메인 특화 언어를 개발했어요. Axon은 PyTorch, JAX, MLX, vLLM 등 다양한 프레임워크에서 사용 가능한 write-once, run everywhere 패러다임을 지원해요.
Axon을 사용하면 모델 정의를 간결하게 작성하고 감사할 수 있으며, PyTorch, Triton, JAX, MLX, vLLM에서 속도 향상을 확인할 수 있었어요.
vLLM에 Axon 모델을 배포했을 때 Transformers 구현체 대비 58%의 속도 향상을 달성했어요.