다양한 모델을 병렬 실행하기 위한 128G VRAM 구성 방법을 고민 중인 사용자입니다. CUDA 지원하는 4080S, ROCm/Vulkan 기반 R9700, 고성능 Mi210 카드 간의 장단점을 비교 분석하고 있습니다.
4080S는 736GB/s 메모리 대역폭을 제공하지만 NVFP4 지원이 부족하며, R9700은 640GB/s 대역폭에 ROCm/Vulkan 기반입니다.
Mi210은 1600GB/s의 높은 대역폭을 제공하지만 최신 모델 포맷 지원에 제한이 있어, BF16/FP8 모델에서 각각 16G/32G VRAM으로 인식될 수 있습니다.