블랙박스 LLM의 크기를 추정하는 새로운 방법이 공개됐어요. 모델이 기억하는 희귀한 사실을 활용해 비공개 모델의 파라미터 수를 유추할 수 있어요. 이 방법은 모델 내부 정보 없이도 대략적인 크기를 파악하는 데 도움을 줘요.
연구진은 모델이 얼마나 많은 희귀 사실을 기억하는지 측정하는 방식으로 모델 크기를 추정했어요. 이 방법은 모델의 학습 데이터와 크기 간의 상관관계를 활용하는 방식이에요. 이를 통해 모델 개발자가 모델의 성능과 크기를 조절하는 데 도움을 줄 수 있어요.