vllm 프로젝트가 v0.28.0rc1 버전을 공개했어요. 이 버전은 KV 오프로딩 계층화 블록 관련 버그를 수정하고, 새로운 기능과 개선 사항을 포함하고 있어요. 개발자들은 GitHub에서 변경 사항을 확인할 수 있어요.
KV 오프로딩은 모델의 메모리 사용량을 줄여 더 큰 모델을 더 작은 하드웨어에서 실행할 수 있도록 하는 기술이에요. 이번 업데이트는 이 기술의 효율성을 높이는 데 중점을 뒀어요.
vllm은 오픈소스 LLM 추론 엔진으로, 빠른 속도와 효율적인 메모리 관리를 특징으로 해요. 이번 업데이트를 통해 더 많은 사용자가 더 쉽게 LLM을 활용할 수 있을 것으로 기대돼요.