연구진이 태양 복사 예측 시스템의 시각적 백본 성능을 비교하는 벤치마크를 공개했어요. ConvNeXt, Swin Transformer, VMamba 등 다양한 백본을 Folsom 데이터셋에서 테스트했어요. VMamba Small과 Swin Base는 Folsom 데이터셋에서 RMSE 65.39 W/m^2, 65.50 W/m^2를 달성하며 기존 예측 모델보다 우수한 성능을 보였어요. 연구 결과는 GitHub에서 확인할 수 있어요.
연구는 이미지 인코더, 시간 모델, 퓨전 블록, 목표 정의, 학습 레시피가 모두 함께 변경되는 기존 예측 시스템 평가 방식에서 벗어났어요. 퓨전 블록을 고정하고 시각적 백본만 변경하여 평가의 변수를 줄였어요. Folsom 데이터셋의 엄격한 분할에서 VMamba Small과 Swin Base가 가장 좋은 성능을 보였고, NREL 데이터셋에서는 Swin Tiny가 가장 낮은 RMSE를 기록했어요.
이번 벤치마크는 특정 운영 환경에서 백본 성능을 비교하는 데 초점을 맞추고 있으며, 아키텍처 수준의 우위 확립이나 완전 최적화된 예측 성능 달성을 목표로 하지 않아요. 연구 결과는 특정 아키텍처의 우수성을 판단하기보다는 다양한 백본의 상대적인 성능을 비교하는 데 유용해요.