LLM 게임 개발자가 Groq 플랫폼에서 llama-3.1-8b-instant 모델을 대체할 때 gpt-oss-20b 모델이 예상보다 느린 점을 발견했어요. gpt-oss-20b는 토큰 처리 속도는 빠르지만, 응답 시간과 비용이 llama-3.1-8b-instant보다 높았어요.
gpt-oss-20b는 추론에 더 많은 토큰을 사용해 응답 시간이 길어지고, 비용도 증가했어요. 게임 내 NPC 대화나 퀘스트 텍스트 생성 등 실시간 상호작용에 적합하지 않았어요.
개발자는 현재 DeepInfra를 사용하며 llama-3.1-8b-instant 모델을 계속 사용하고 있으며, 네트워크 의존성 없이 로컬 모델을 내장하는 장기적인 목표를 가지고 있어요.