연구진이 bitsandbytes 양자화가 LLM의 선제적 간섭(proactive interference) 현상을 악화시킨다는 사실을 밝혀냈습니다.
INT4 양자화는 Qwen 모델의 정확도를 81.0%에서 68.3%로 크게 감소시켰으며, INT8도 일부 모델에서 성능 저하를 보였습니다.
이러한 현상은 의미적으로 유사한 단어들을 방해 요소로 사용할 때 발생하며, 4비트 양자화는 동일 키(key) 침투 오류를 증가시켜 메커니즘적으로 연결되어 있습니다.