연구진은 온타리오 주거 임대법(RTA)에 대한 질문에 정확한 법 조항을 제시하는 작업을 연구했어요. Qwen2-5-7B-Instruct 모델을 기반으로 4가지 방법을 비교했는데, 이 중 SFT+RAG 하이브리드 방식이 가장 높은 정확도를 보였어요. SFT는 법 조항 선택을 더 안정적으로 만들어 후보 법안 검색의 정확도를 높이는 데 기여했어요.
기존 방식보다 저렴한 bge-small 하이브리드 방식이 더 큰 모델과 데이터셋을 사용한 방식보다 우수한 성능을 냈으며, 더 많은 데이터나 전문적인 검색 모델은 성능 향상에 도움이 되지 않았어요. 이 방식은 환각 현상을 없애고 기존 모델보다 성능을 향상시켰지만, 목표 정확도인 0.70에는 미치지 못했어요.
연구 결과는 아직 예비 단계이며, 인간 검증이 필요한 소규모 평가 데이터셋에서 얻은 결과예요. 정확한 인용 성능을 위해서는 검색 기능이 필수적이며, SFT와 RAG를 결합하는 것이 가장 효과적인 방법으로 나타났어요.
이 연구는 자가 대표 임차인, 임대인, 상담 담당자가 정확한 법 조항을 찾도록 돕는 데 기여할 수 있으며, 저렴하고 효율적인 솔루션으로 활용될 수 있을 것으로 기대돼요.