사용자가 Gemma 4 12B 모델을 툴 호출에 특화하여 파인튜닝했어요. 툴 사용 능력과 함께 툴 호출 횟수가 15.7% 증가했어요. fp16에서 Q4_K_M로 변환된 가중치 파일이 llama.cpp 또는 ollama 사용을 위해 공개됐어요.
Gemma 12B 모델은 에이전트 코딩에 어려움을 겪는다는 기존 평가가 있었어요. 툴 사용 능력 부족과 CLI 사용 미숙함이 문제였어요. 파인튜닝을 통해 툴 사용 능력과 툴 호출 횟수를 개선했어요.
사용자가 제작한 fp16 -> Q4_K_M 가중치 파일은 llama.cpp 또는 ollama에서 바로 사용할 수 있어요. 이는 16GB VRAM 환경에서 Gemma 모델을 활용할 수 있는 방안을 제공해요.