연구팀이 텍스트-이미지 생성, 단일 이미지 편집, 다중 이미지 편집을 위한 통합 모델 Swift-Image를 공개했어요. 6B 파라미터로 제한된 환경에서 모델 성능을 극대화하는 데 집중했어요. 효율적인 DiT 아키텍처와 점진적 학습 파이프라인을 통해 시각 품질을 높이고 생성과 편집을 통합했어요.
병렬 전문가 강화 학습과 다중 교사 지도 학습을 활용해 다양한 목표 간 간섭을 줄였고, 프롬프트 증강기를 통해 사용자 요청을 시각적 사양으로 변환했어요. 3B 모델과 빠른 샘플링 모델도 제작해 효율적인 배포를 지원해요.
Swift-Image는 6B 파라미터로 평가된 오픈 소스 모델 중 최고 성능을 달성했으며, 압축된 3B 모델은 성능 손실이 거의 없습니다. 연구팀은 아키텍처, 데이터 커리큘럼, 학습, 프롬프트 증강, 모델 압축에 대한 실용적인 교훈을 얻었어요.