Brunofcsampaio 사용자가 AMD MI325X 환경에서 vLLM을 사용해 DeepSeek-V4-Flash-0731 모델을 실행하는데 문제가 발생했어요.
모델은 로드되고 실행되지만, 날씨 질문에 대해 반복적인 예측, 존재하지 않는 도구 호출, 파일 작업 성공/실패 혼동 등 이상한 행동을 보였어요.
이는 모델 품질 문제라기보다 챗 템플릿, DeepSeek V4 인코딩, 추론, 도구 호출 통합 또는 ROCm vLLM 구현과 관련된 문제일 가능성이 있어요.
사용자는 공식 vLLM/DeepSeek MI325X 레시피를 최대한 따랐다고 밝혔어요.