LocalLightChat이 50만 토큰까지 원활하게 처리하는 채팅 UI를 공개했어요. 가상 렌더링, 점진적 DOM 업데이트, 빠른 전체 텍스트 검색 기술을 활용했습니다. Apache 2.0 라이선스로 공개되어 로컬 LLM과 클라우드 API 모두 지원해요.
기존 UI가 5~10만 토큰에서 버벅거리는 문제점을 해결하고, 100ms 내에 검색 결과를 반환하는 아키텍처를 구축했어요. Electron이나 불필요한 프레임워크를 사용하지 않았어요.
LocalLightChat은 1클릭으로 설치 가능하고, 자체 호스팅 또는 Docker로 사용할 수 있으며, 사용자 피드백을 통해 대규모 컨텍스트 성능을 개선할 예정이에요.