Google이 Gemini Flash Lite 모델에 대한 세계 최초 이중 맹검 AI 평가를 시작했어요. 이 평가는 외부 평가 데이터를 암호화해 모델과 평가자 모두가 시험 문제를 미리 볼 수 없도록 설계됐어요. 싱가포르 AI 안전 연구소, OpenMined, AVERI, MLCommons와 협력해 평가의 무결성을 높였어요. AI 모델의 성능을 정확하게 평가하려면 모델이 시험 문제를 미리 보지 않도록 하는 것이 중요해요.
이전에는 평가자와 모델 제공자 중 한쪽이 시험 문제나 모델 가중치를 넘겨줘야 했지만, 이중 맹검 평가는 양쪽 모두의 데이터를 암호화해 이 문제를 해결했어요. Google Cloud의 Confidential Computing 포트폴리오 내 Confidential Space를 활용해 외부 평가 데이터와 Gemini 모델 가중치를 보호해요. 벤치마크 오염을 방지하고 민감한 데이터를 보호하는 데 기여할 수 있어요.
Google은 더 안전하고 신뢰할 수 있는 AI 시스템을 구축하기 위해 이중 맹검 평가가 업계 표준이 되기를 기대하며