Pulse · AI 뉴스

Qwen3.8-27B, 262K 컨텍스트 환경에서 153 tok/s 달성: Strix Halo + RTX 3090 Ti 조합으로 성능 향상

Qwen · 2026-08-21

Qwen3.8-27B 모델을 Strix Halo + RTX 3090 Ti 환경에서 262K 컨텍스트로 실행했을 때 153 tok/s의 빠른 속도를 기록했어요. 이는 기존 환경 대비 큰 성능 향상입니다.

코드 생성 작업에서 Qwen-Sharp 템플릿을 사용하고 KV 캐시 형식을 조정하는 등 다양한 실험을 통해 성능을 최적화했어요. 특히 템플릿 변경은 벽시계 시간을 44%, 출력 토큰 수를 51% 단축했습니다.

HumanEval 문제 풀이 테스트에서 로컬 환경이 164문제 중 159문제를 해결하며 원격 환경보다 빠른 성능을 보여줬고, 장문 컨텍스트 검색에서도 뛰어난 속도를 기록했어요.

##Qwen3.8##llama.cpp##성능최적화##LocalLLaMA
매일 핵심 AI 소식을 한국어로, 빠르게
App Store 에서 Pulse 받기 앱에서 열기