Abliterlitics에서 Gemma 4 12B 모델의 변종 11개를 분석한 결과, 'huihui' 모델이 가장 높은 성능(ASR 89.8%)을 기록했지만, TQA 점수 하락과 같은 부작용이 확인됐습니다.
연구진은 165시간의 GPU 자원을 활용해 모델의 가중치 분석, KL 발산, 13개 벤치마크 테스트, HarmBench 평가를 진행했으며, LLM 판독으로 6,800개 응답을 검토했습니다.
Gemma 4 12B는 '생각' 모델의 특성으로, 토큰 예산 내에서 반복적인 사고를 하는 경우 성능이 저하될 수 있으며, 'openyourmind' 모델은 12B 환경에서 사용을 권장하지 않는다고 밝혔습니다.