CSJianYang 팀이 Parallel Loop Transformer (PLT) 기반 7B 코드 모델 LoopCoder-V2를 공개했어요. LoopCoder-V2는 테스트 시간 계산 확장을 위해 공유된 Transformer 블록을 반복 적용하는 방식으로 작동해요.
PLT 모델은 두 가지 메커니즘(CLP, G-SWA)을 통해 지연 시간과 KV 캐시 메모리 증가를 완화하며, 루프 횟수를 자유롭게 조절할 수 있도록 설계됐어요.
연구 결과, 두 번의 루프가 SWE-bench Verified 점수를 43.0에서 64.4로 향상시키는 최적의 성능을 보였으며, 세 번 이상의 루프는 성능 저하를 초래했어요.
LoopCoder-V2는 코드 생성, 다국어 코드, 코드 추론, 에이전트 기반 소프트웨어 엔지니어링, 도구 사용 워크플로우를 지원하며, GitHub 및 arXiv에서 관련 자료를 확인할 수 있어요.
본 모델은 18T 토큰의 텍스트 및 코드 데이터로 학습되었으며, 두 개의 루프 설정을 통해 가장 효과적인 성능을 발휘하는 것으로 나타났어요.