Reddit 사용자가 Qwen3.8-27B 모델의 양자화 수준, KV 캐시 방식, 컨텍스트 길이 등을 비교하는 벤치마크를 진행할 계획을 공유했어요. 목표는 36GB VRAM 환경에서 Q6 수준의 양자화를 사용하며, 24GB, 32-36GB, 48GB 사용자에게도 유용한 결과를 제공하는 것입니다.
벤치마크는 Terminal-Bench2.1, DeepSWE 등을 활용하여 코딩 및 에이전트 작업 성능을 측정하고, pass rate 외에도 생성 토큰 수, 도구 사용 횟수, 최대 컨텍스트 길이, 컨텍스트 압축 횟수 등 다양한 지표를 기록할 예정이에요.
사용자는 커뮤니티의 의견을 수렴하여 벤치마크 구성, 측정 방법, 누락된 요소 등을 개선하고, 결과 스크립트와 설정을 공개하여 재현 가능성을 높일 계획이에요. 특히, 양자화 수준별 토큰 효율성 변화에 주목할 예정입니다.