글로벌 AI 개발 시 다국어 지원을 넘어 문화적 맥락 이해가 중요해지고 있어요. 단순히 언어 구사 능력만으로는 지역별 사회적 기대나 가치관을 제대로 반영하기 어려워요.
연구 결과, LLM 학습 데이터는 '문화 데이터 깔때기' 현상을 겪으며 문화적 다양성이 줄어드는 것으로 나타났어요. 데이터 선택 과정에서 특정 문화권 콘텐츠가 편향될 가능성이 있어요.
연구진은 학습 데이터 자체에 문화적 표현을 명시적으로 담아내는 것이 중요하다고 강조하며, 다양한 지역 커버리지와 의도적인 문화 콘텐츠 큐레이션이 필요하다고 제안했어요.
연구팀은 560만 건의 학습 데이터 샘플을 분석해 LLM 학습 파이프라인 전반에 걸쳐 문화적 신호가 감소하는 패턴을 확인했어요. 이를 '문화 데이터 깔때기' 현상이라고 명명했어요.
문화적 편향을 줄이기 위해 데이터 문서화, 처리, 평가 과정에서 문화적 요소를 고려하는 원칙을 확립해야 하며, 이는 평가 및 데이터 선택 시 문화적 맥락을 고려해야 함을 의미해요.