연구진이 자율 주행 환경에서 LLM의 상식 추론 능력을 활용하는 하이브리드 프레임워크를 제안했어요. 이 시스템은 PPO 강화 학습과 PID 제어를 조율하는 오케스트레이터를 사용하며, LLM은 프레임워크 전반에 걸쳐 상식 추론을 수행해요. 또한, LLM 추론을 반복적으로 사용하여 동적 주행 환경에 맞게 강화 학습 보상 함수를 개선해요.
CARLA 시뮬레이션 환경에서 다양한 환경 및 교통 조건 하에 프레임워크를 평가한 결과, 기존 자율 주행 방법과 LLM 기반 추론을 통합하면서도 안전 메커니즘을 유지하는 가능성을 확인했어요. LLM은 멀티모달 정보를 이해하고 상황에 맞는 추론을 생성하는 데 강점을 보여요.