사용자가 DeepSeek-V4-Flash 모델을 7900 XTX GPU와 MI60 GPU를 결합한 환경에서 테스트했어요.
프롬프트 처리는 초당 140t 토큰, 추론은 초당 11t 토큰으로 측정됐으며, llama.cpp 명령어를 최적화하지 않은 상태였어요.
ROCm 7.2.4 백엔드를 사용했으며, 10223 버전의 llama.cpp를 활용했어요.
GPU 조합은 7900 XTX 24GB와 MI60 32GB 3개로 구성됐으며, MI60 중 하나가 고장난 상태였어요.
모델은 DeepSeek-V4-Flash-0731-UD-IQ3_XXS로, 1MB 토큰을 처리하는 데 약 797초가 소요됐어요.