연구진이 연합 학습을 활용한 SpeechLLM 기반 음성 인식 시스템을 처음으로 연구했어요. 영어와 이탈리아어 음성 인식 작업에서 중앙 집중식 학습보다 효과적이고 안정적임을 입증했어요. 분산 환경의 계산 제약과 고차원 파라미터 공간 문제를 해결하는 통신 효율적인 연합 최적화 전략을 설계했어요.
다양한 음향 조건과 발화 스타일에서 경쟁력 있는 단어 오류율을 달성하면서 통신 비용도 줄였어요. 연합 학습 프레임워크 내에서 단일 언어 영어 ASR 성능에 미치는 다양한 음성 인코더 아키텍처의 영향을 분석하는 분석 연구도 진행했어요.
실제 다국어 시나리오에서 연합 SpeechLLM 배포를 위한 실용적인 기반을 마련했어요.