연구팀은 LLM이 임상 연구 논문 초안 작성에 활용되면서 허위 인용, 부정확한 수치, 보고 지침 미준수 등의 문제가 발생할 수 있음을 지적했어요.
MedSci Skills라는 오픈소스 툴킷을 개발하여 LLM 생성과 검증을 결합하는 아키텍처를 제시했는데, 이는 워크플로우를 분해하고, 각 단계별로 오류를 중단하는 검증을 거치며, 해석이 불가피한 경우에만 문장 수준의 검사를 수행하는 방식이에요.
실제 테스트에서 모든 콘텐츠 해시 매니페스트가 깨끗하게 확인되었고, 27개의 인위적 결함은 27개 모두 탐지되었으며, 일반적인 LLM 검토기는 11개만 탐지하는 데 그쳤어요.
MedSci Skills는 MIT 라이선스로 공개되어 있으며, 감사 가능한 재현 가능성을 제공하여 LLM 지원 논문의 증거를 확인하는 데 필요한 정보를 제공합니다.