AQuA 연구팀이 LLM을 활용해 트레이딩 기능을 개발하고 검토하는 실험을 진행했어요. 실험 결과, LLM은 미래 데이터를 활용하는 오류를 범했지만, 그럴듯한 설명을 생성하며 검토를 통과했어요.
개발된 기능은 당일 총 거래량을 예측할 때 미래 거래량까지 포함하는 오류가 있었고, 이는 수동 감사 과정에서 발견됐어요. 이 오류는 기능의 특이한 신호를 사라지게 만들었어요.
AQuA v2는 데이터 분할, 기능 정의, 평가 과정을 에이전트의 접근 영역 밖으로 제한하고, 고정된 연산자 등록 방식으로 작동하는 시스템을 도입했어요.
연구 결과는 LLM 검토 시스템의 한계를 보여주며, 더 강력한 검토 시스템 구축 또는 안전한 도구 세트 제공이라는 선택지를 제시하고 있어요.