AntLing이 Ling-3.0 Tiny 및 Flash 모델의 체크포인트를 오픈소스로 공개했어요. 이 모델들은 사전 훈련, 중간 훈련, WSM 병합 단계를 포함하며, 연구자들이 추가 훈련 및 연구를 진행할 수 있도록 유연한 시작점을 제공해요.
WSM을 활용하여 LR 감쇠를 가중치 체크포인트 병합으로 대체하여 지속적인 사전 훈련에 적합하도록 만들고, 다양한 LR 감쇠 전략을 오프라인으로 탐색할 수 있도록 했어요.
Ling-3.0-tiny-base는 79억 개의 총 파라미터를 가지고 있으며, 코딩 성능이 특히 뛰어나요. Ling-3.0-flash-base는 코딩, 추론, 긴 컨텍스트 작업에서 강력한 성능을 보여줘요.
이 모델들은 코딩, 장기 워크플로우, 금융, 의료 등 전문 분야에 적합하며, 지속적인 사전 훈련, 추가 훈련 및 도메인 적응에 활용될 수 있어요.