사용자가 AMD R9700 듀얼 카드 환경에서 vLLM을 사용하려다 심각한 성능 문제에 직면하여 도움을 요청했습니다. 여러 운영체제, 드라이버 버전, BIOS 설정을 변경했음에도 문제가 해결되지 않았습니다.
싱글 카드 환경에서도 Qwen 0.6B 모델은 30 TPS, 27B INT4 AWQ 모델은 5 TPS로 매우 낮은 성능을 보이며, 듀얼 카드 구성 시에는 RuntimeError: NCCL error가 발생합니다.
사용자는 문제 해결을 위해 GitHub 이슈에 관련 정보를 공유했으며, 시스템 RAM을 64GB로 늘려도 동일한 문제가 지속되고 있어, 커뮤니티의 도움을 간절히 요청하고 있습니다.