LiquidAI에서 새롭게 출시한 LFM2.5-2.6B 모델은 작은 크기에도 불구하고 큰 모델과 견줄 만한 성능을 보여줍니다. 사용자는 다양한 양자화 방식과 KV 캐시 양자화를 실험하여 모델의 최적 양자화 설정을 분석했습니다. 8GB Raspberry Pi에서도 큰 성능 저하 없이 구동 가능하며, Q4_K_M 양자화 방식은 피해야 합니다.