사용자가 MiMo-2.5 모델을 Halo Strixes 두 대의 시스템에서 구동하는 고성능 환경을 구축했어요. 356pp와 15tg의 성능을 기록하며, 컨텍스트 길이 1% 또는 10k에서 테스트 중이라고 밝혔어요. vLLM이나 SGLang 백엔드 구축에 어려움을 겪고 있으며, DeepSeek v4 Flash 모델 실행에 적합한 백엔드를 찾고 있어요.
Halo Strixes 두 대에 8060 GPU를 장착하고, Proxmox 컨테이너 환경에서 ROCm llama.cpp를 구축하는 데 많은 노력과 어려움을 겪었음을 공유했어요. USB4net 연결과 다양한 빌드 옵션을 사용했음을 언급했어요.
사용자는 자신의 환경이 LLM 커뮤니티에서 '귀족'으로 인정받을 만큼 높은 수준인지 궁금해하며, vLLM 또는 SGLang 백엔드 구축 경험을 공유하는 다른 사용자를 찾고 있어요.