MusaCoder는 CUDA 및 MUSA 백엔드에서 네이티브 GPU 커널 생성을 위한 풀스택 훈련 프레임워크입니다. 기존 LLM의 한계를 극복하고, 실행 기반 강화 학습의 불안정성을 개선하는 데 목표를 둡니다. MooreEval을 활용한 실행 피드백 강화 학습과 다양한 안정화 기법을 통해 성능을 향상시켰습니다.
KernelBench 벤치마크에서 MusaCoder는 오픈소스 및 독점 모델을 능가하는 성능을 보여줬으며, 특히 27B 모델은 새로운 최고 성능을 달성했습니다. 9B 모델은 최첨단 폐쇄 소스 모델과 동등하거나 뛰어넘는 성능을 보였습니다. 이는 새로운 가속기에 대규모 모델 훈련 및 최적화의 기반을 마련합니다.
MusaCoder는 커널 지향 데이터 합성, 다양성 보존 거부 미세 조정, 실행 피드백 강화 학습 등 다양한 기술을 결합하여 개발되었습니다. PrimeEcho, Buffered Dynamic Retry, MirrorPop과 같은 기법을 통해 강화 학습의 안정성을 높였습니다.