MultiverseComputingCAI 팀이 구조적 압축과 양자화를 거친 LLM을 복원하는 새로운 방법인 양자화 인식 회복(QAH)을 공개했어요. QAH는 기존 방식보다 더 나은 성능을 낼 수 있습니다.
QAH는 압축된 모델을 원본 모델을 기준으로 재학습하여, 4비트 모델이 원본 16비트 모델보다 더 정확하고 저렴하게 실행될 수 있도록 합니다.
기존 회복 방식은 구조적 압축을 고려하지 못해 성능이 제한적이었지만, QAH는 원본 모델을 활용하여 이러한 한계를 극복하고 모델의 잠재력을 최대한 발휘합니다.