AMD V620 GPU에서 Windows 11 환경에서 Vulkan과 ROCm을 사용한 Llama.cpp 벤치마크 결과를 공유했어요. 이전 벤치마크는 삭제하고 더 긴 토큰을 사용해 재업로드했어요.
AI가 작성한 벤치마크는 직접 검증했으며, 플래그 및 설정을 최적화 중이라고 밝혔어요. 특히 Gemma 26B 모델은 MoE 구조로 인해 밀집 모델보다 생성 속도가 빠르다는 결과를 확인했어요.
벤치마크 결과, Vulkan이 모든 모델과 깊이에서 생성 속도에서 우위를 점했으며, 프롬프트 처리(PP) 속도는 모델에 따라 ROCm 또는 Vulkan이 더 빠르다는 것을 확인했어요.