사용자가 llama.cpp의 mmap 함수를 사용하여 Qwen3.8-Flash-Next IQ3_XSS 모델을 16GB+64GB RAM 환경에 로드했어요. 모델 속도가 26t/s에 달해, MOE가 아닌 30B 모델(10t/s)보다 훨씬 빠릅니다. 이는 기존 방식 대비 상당한 성능 향상입니다.
mmap 함수를 사용해 메모리 제약 극복하고, 고성능 모델을 활용할 수 있게 됐어요. 이 방법은 더 큰 모델을 활용하고 싶은 사용자에게 유용할 수 있습니다.