사용자가 Intel Xeon w7-3465 프로세서와 DDR5-4800 메모리를 사용하여 DeepSeek-V4-Flash-0731 모델을 실행하는 중 메모리 대역폭 부족 문제를 겪고 있어요. GPT를 활용하여 문제 해결을 시도했지만, 기대했던 속도를 얻지 못하고 있어요. CPU 스레드와 배치 설정 불일치가 원인일 수 있다는 의견도 나왔지만, 속도는 여전히 낮은 수준이에요.
현재 시스템은 이론적으로 153GB/s의 최대 대역폭을 제공하지만, 실제로는 36~40GB/s 정도만 사용되고 있으며, 이는 기대했던 속도에 미치지 못하는 수준이에요. 메모리 채널 구성은 4채널로 설정되어 있지만, 간헐적으로 90GB/s의 속도가 관찰되기도 해요.
사용자는 CPU 스레드와 배치 설정을 조정하여 속도 향상을 시도했지만, 3~4 토큰/초의 속도로는 만족스럽지 못하며, 시스템의 잠재력을 최대한 활용하기 위한 해결책을 찾고 있어요.