Reddit 사용자가 Qwen3.8-27B 모델을 RTX 3090에서 실행하는 최적화 엔진을 공개하며, DFlash2 적용으로 추론 속도가 크게 향상됐다고 밝혔어요.
DFlash2를 활용해 단일 요청 처리 속도가 138 tps (초당 토큰 수)로, 64 동시 사용자 환경에서 942 tps를 달성했으며, 긴 대화의 응답 시간도 23초에서 1초로 단축됐어요.
새로운 기술은 메모리 사용량을 줄이고, 긴 컨텍스트 처리 성능을 개선했으며, 품질 저하 없이 빠른 추론 속도를 제공하며, 관련 코드와 모델은 Hugging Face에서 확인할 수 있어요.