사용자가 GLM-5.2를 로컬 환경에서 테스트하며 ubatch 크기가 짧은 프롬프트에서는 큰 영향을 미치지 않지만, 긴 프롬프트에서는 성능 향상을 가져온다는 결과를 공유했어요.
3x RTX PRO 6000 Blackwell GPU 환경에서 llama.cpp 대비 TensorSharp 구현 시 ubatch 2048 설정 시 토큰/초 속도가 향상되는 것을 확인했어요.
MoE 아키텍처 구조로 인해 ubatch 증가 시 각 expert가 더 많은 작업을 처리하며 GPU 활용도가 높아지는 것으로 추정돼요. PCIe 연결 환경에서 레이어 분할 방식이 Tensor Parallelism보다 빠른 것으로 나타났어요.