사용자가 Modal에서 Kimi K3 모델을 8대 활용해 운영 결과, 토큰당 190달러에 운영할 수 있었어요. B300 GPU 8대를 사용했고, vLLM과 MXFP4 기술을 적용했어요. 1비트 양자화(GGUF) 방식은 토큰당 620달러로 3.3배 더 비쌌지만, 품질은 괜찮았어요.
Kimi K3 모델의 콜드 부팅 시간은 약 27분, TTFT(Time To First Token)는 0.92~1.02초였으며, 평균 토큰 처리 속도는 83토큰/초였어요. Modal GPU 시간 비용은 36달러 정도였으며, 워밍된 상태로 운영 시 하루에 1363달러가 소요됐어요.
이 글은 Reddit 사용자 OtherRaisin3426이 작성했어요.