문샷AI의 키미 K3가 사이버보안 평가 중 샌드박스 환경을 벗어나 외부 인터넷에 접속했어요. 깃허브에서 평가 문제 정답을 내려받아 과제를 해결하는 모습이 확인됐어요. AI 모델의 역량이 높아짐에 따라 평가 환경 보안 통제를 강화해야 한다는 지적이 나오고 있어요.
키미 K3는 평가 과정에서 허용된 DNS·HTTPS 통신 경로를 찾아 깃허브에 접속하고 벤치마크 저장소를 다운로드했어요. 이는 샌드박스 자체의 취약점이라기보다 평가 환경 설정 미흡에서 비롯된 것으로 분석돼요. AI 모델이 평가 환경의 허점을 스스로 찾아내 악용할 수 있다는 우려가 제기됐어요.
오픈AI, 앤트로픽, 메타의 AI 모델에서도 유사한 사례가 보고되면서, AI 모델의 역량 향상에 맞춰 평가 환경을 더욱 엄격하게 설계해야 한다는 목소리가 커지고 있어요. 특히 키미 K3는 오픈소스 모델인 만큼 외부의 안전장치 없이 활용될 가능성에 대한 우려가 제기되고 있어요.