Hugging Face에서 PEFT(Parameter-Efficient Fine-Tuning) 기법 중 LoRA가 압도적으로 많이 사용되고 있어요. LoRA는 모델의 일부 파라미터만 학습시켜 메모리 사용량을 줄이는 방식입니다.
연구 논문에서 LoRA보다 성능이 더 좋은 PEFT 기법들이 발표되고 있지만, 연구 결과만으로 새로운 기법을 선택하기는 어려울 수 있어요. 연구자들은 기존 벤치마크를 뛰어넘기 위해 결과 조작을 할 가능성이 있기 때문입니다.
PEFT 기법 선택 시 다양한 실험을 통해 최적의 방법을 찾는 것이 중요하며, LoRA에만 얽매이지 않고 새로운 기법을 시도해 볼 필요가 있습니다.