사용자가 Muse Glimmer 30B 모델의 컨텍스트 길이를 512k로 확장하는 실험을 진행했어요. 기존 모델과 달리 특별한 아키텍처 덕분에 컨텍스트 길이 변경이 간단했어요. 다양한 벤치마크 테스트 결과, 대부분의 작업에서 뛰어난 성능을 유지했지만, 특정 작업(전체 컨텍스트 내 인스턴스 개수 세기)은 성능 저하가 관찰됐어요. 실험 결과 및 관련 자료는 GitHub에서 공개됐습니다.
Muse Glimmer 30B는 풀 어텐션 레이어 대신 SWA 레이어를 활용하여 장거리 토큰 관계를 추론하는 독특한 아키텍처를 가지고 있어요. 덕분에 128k에서 512k로 컨텍스트 길이를 확장하는 데 'max_position_embeddings' 설정 변경만으로 가능했어요. 이는 다른 모델에서는 어려웠던 작업입니다.
Needle in a haystack, Multi-hop retrieval, Semantic lookups 등 다양한 벤치마크에서 512k 토큰까지 100% 성능을 유지했지만, 전체 컨텍스트 내 인스턴스 개수 세기는 385k에서 60%, 512k에서 22%로 성능이 떨어지는 한계가 있었어요. 전체 실험 결과는 GitHub에서 확인할 수 있습니다.