사용자가 NVIDIA RTX A5000 16GB GPU 환경에서 Qwen3.8-27B 모델을 exllamav3/tabbyAPI로 구동하며 간단한 HTML 게임 개발 및 웹 브라우징을 테스트했어요.
3bpw 모델과 6/5bit KV 캐시를 사용했을 때 최대 컨텍스트 길이는 약 11만 토큰이며, 코드 생성 시 약 55토큰/초, 콘텐츠 생성 시 약 10토큰/초의 디코딩 속도를 보여요.
tabbyAPI 설치, CUDA 확인, 모델 다운로드, config.yml 설정, API 실행 과정을 상세히 안내하며, 성능 측정 스크립트도 제공해 Qwen3.8-27B 모델 활용 방법을 제시했어요.