연구진은 연합 학습에서 정규화가 무료로 제공되는 방식이 기존 방식과 어떻게 다른지 분석했어요. 각 클라이언트가 자체 마스크를 그리면 연합 평균화는 최적화기의 부담을 완화하며, 클라이언트 간 마스크가 동일하면 역방향 기울기 다양성에 따라 부담이 줄어듭니다. 실험 결과, CIFAR-10 데이터셋에서 이 계수는 1.19였어요.
미니배치 샘플링을 끄거나 데이터 이질성을 변화시키면 이 계수가 크게 변동하지만, 학습 성능은 저하돼 활용하기 어렵습니다. 이는 연합 학습 환경에서 마스킹이 최적화 과정에 미치는 영향을 보여줍니다.
본 연구는 연합 학습에서 정규화의 역할을 재조명하고, 데이터 이질성과 마스킹 전략이 학습 성능에 미치는 영향을 실증적으로 분석했습니다.