사용자가 128GB RAM과 ~60GB VRAM을 갖춘 시스템에서 deepseek-v4-flash-0731 4비트+ 퀀트를 실행하는 실험을 진행했어요.
초기에는 7 tgs와 20 pp로 제한되었으나, 여러 최적화 과정을 거쳐 20 tgs, 45 pp를 달성했어요. 특히 1000 토큰 이상의 생성 시 성능이 향상됐어요.
긴 프롬프트 처리 속도를 높이기 위해 IQ_2M 모델을 활용하는 방법을 시도했지만, 초기 캐시 재구축으로 인해 성능 향상에 제한적이었어요. 프롬프트 처리 서비스 분리 등의 추가적인 개선 방안을 고려 중이에요.