MiniMax가 M3 오픈 웨이트 공개를 앞두고 Llama.cpp 속도 최적화 방법을 검토하는 글입니다. GPU 메모리 활용, P2P, 언더볼팅, 오버클럭킹 등 다양한 방법이 소개됩니다.
`-ngl`, `-ncmoe` 와 같은 인자 조정은 기본 fitparams보다 성능 향상을 보지 못했으며, 배치 사이즈(`-ub`) 조정이 프롬프트 처리 속도 향상에 효과적입니다.
vLLM은 DAM 오프로딩에 적합하지만, CPU-RAM 오프로딩 시 Llama.cpp보다 느리고, MTP는 MiniMax M2.7에서 지원되지 않아 M3에서도 활용이 어려울 것으로 예상됩니다.