연구진은 LLM 벤치마크 점수가 문제의 단일 표현에서 비롯된다는 점을 지적했어요. 동일한 문제를 다른 방식으로 표현해도 모델의 답변이 바뀌는 현상을 '드리프트'라고 명명했어요. BenchDrift는 4가지 축을 통해 의미를 유지하면서 벤치마크 문제를 다양화하고, 모델의 정확성 변화를 측정했어요.
GSM8K, MMLU, MATH-Hard 3개 벤치마크와 8개 모델을 분석한 결과, 모델 성능이 향상될수록 표현 민감도가 바뀌는 현상이 발견됐어요. 약한 모델은 재표현으로 이득을 얻는 반면, 강력한 모델은 손실이 더 컸어요.
연구 결과, 벤치마크에서 가장 좋은 성능을 보이는 모델은 우연히 주어진 표현에 따라 점수가 가장 많이 달라지는 모델인 것으로 나타났어요. 또한 모델들은 어떤 재표현이 가장 많은 정답을 잃게 하는지에 대해 대체로 동의했어요.