GLM-5.3과 GLM-5.3 Flash 모델로 DeepSWE 롤아웃 900회를 테스트했어요. Flash 모델은 비용을 17배 절감하면서 pass@1 정확도가 5.6점 감소했고, pass@4에서는 2.6점 감소했어요.
DeepSWE 롤아웃 테스트 결과, GLM-5.3 Flash는 비용 효율성이 뛰어난 것으로 나타났어요. 두 모델의 성능 차이는 pass@4 기준으로 미미했어요.
이번 테스트는 GLM-5.3과 GLM-5.3 Flash 모델의 비용 대비 성능을 비교 분석한 결과예요.