Mference가 Inkling-Small 276B-A12B 모델을 지원하며, Mac 환경에서 2.9 토큰/초의 속도로 구동 가능합니다.
M5 칩(24GB)에서 테스트 결과, 프롬프트 유형에 따라 9.48~9.59GB의 메모리 사용량을 보였으며, M3 Ultra에서는 더 빠른 속도를 달성했습니다.
Mference는 Swift + Metal 기반으로 개발되었으며, Mac 앱, CLI, OpenAI 호환 서버를 제공하며, GitHub에서 기여를 받고 있습니다.