Stability AI가 금융 LLM의 사실 유지 성능을 개선하는 메모리 편집 프레임워크 CACHE-UK를 공개했어요. 4비트 양자화 환경에서 기존 방식의 성능 저하 문제를 해결하는 데 초점을 맞췄어요.
CACHE-UK는 LoRA 기반 편집, 금융 도메인 우선순위 모듈, 안정성 제어기 3가지 요소로 구성돼요. 88,021개 문서로 구성된 UK 금융 코퍼스로 평가 결과, 기존 방식 대비 지식 저하를 11~17% 줄였어요.
4비트 양자화 OpenLLaMA-3B 모델에서 테스트 결과, CACHE-UK는 28%의 최고 테스트 성공률(일반화)을 기록했어요. 이는 가장 강력한 기존 방식보다 6%p 높은 수치예요.
연구 결과, 안정성 기반 편집은 제한된 자원으로 금융 LLM을 배포할 때 사실 유지 성능을 향상시킬 수 있다는 점을 시사하지만, 절대적인 일반화율은 여전히 낮은 수준이에요.