Z.ai가 GLM-5.3을 공개하며 모델 크기 외 스케일링의 중요성을 강조했어요. GLM-5.3은 GLM-5.2와 동일한 기반 모델과 아키텍처를 사용했지만, 한 달간의 장기 환경 스케일링과 강화 학습을 거쳤어요. 이번 실험은 모델 크기 외에 효과적인 깊이와 사후 훈련이 성능 향상에 중요한 요소임을 보여줬어요.
초기 스케일링 연구는 파라미터 수를 데이터보다 빠르게 늘리도록 유도했지만, 이후 연구들은 컴퓨팅 자원을 효율적으로 분배하는 것이 중요함을 밝혔어요. Chinchilla 이후 모델은 추론 비용을 고려하여 더 오래 훈련하는 방향으로 발전했고, MoE 모델에서는 활성화 파라미터와 효과적인 깊이가 중요한 역할을 해요.
Z.ai는 GLM-5.3 실험을 통해 모델 크기 외에 사전 훈련, 중간 훈련 등 다양한 스케일링 요소를 조절할 수 있으며, 다음 단계에서는 이러한 요소들을 추가적으로 개선할 계획이라고 밝혔어요.