Pulse · AI 뉴스

Qwen3.8-27b q8 KV 캐시가 모델 성능 저하를 일으키는 이유

Qwen · 2026-08-28

Qwen3.8-27B 모델에서 q8 KV 캐시 양자화가 성능 저하를 일으키는 현상이 발견됐어요.

KV 캐시를 양자화할 때마다 약간의 오차가 누적되면서 다음 프리필 단계에 영향을 미치는 문제 때문이에요.

BF16으로 빌드된 캐시를 한 번에 q8로 양자화하면 오차가 1% 수준으로 줄어들어 정상적으로 작동해요.

이 현상은 Qwen3.8-27B 모델군에서 나타났으며, 다른 모델에서도 유사하게 발생할 수 있어요.

##Qwen##양자화##KV캐시##성능
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기