연구진은 SEC filings, 금융 뉴스, 소셜 미디어 데이터를 활용해 금융 분야 NER 모델의 도메인 변화에 따른 신뢰도 추정 및 예측 선택을 연구했어요. BERT 태거와 Qwen2.5 모델을 평가한 결과, 전체 출력 확률은 in-domain 오류 감지에 강하지만 out-of-domain에서는 성능이 저하되는 반면, 개체 스팬 확률과 자기 일관성은 더 안정적이었어요.
자기 일관성은 추가적인 보정 없이도 더 잘 보정되었으며, 추론 시 신뢰도 신호 5가지, 3가지 학습 시드, 부트스트랩 간격을 활용해 모델을 평가했어요. 최고 신뢰도 40%의 in-domain 입력에서 문장 오류율을 34.3%에서 2% 미만으로 줄였지만, 극단적인 소셜 미디어 변화에서는 유의미한 수준으로 개선되지 않았어요.
연구 결과는 심각한 도메인 변화를 상류에서 감지한 후 예측 수준의 신뢰도 게이팅을 적용하는 단계적 배포 전략을 뒷받침하며, 금융 분야 AI 시스템의 안전한 자동화를 위한 인사이트를 제공합니다.