Louis Abraham이 Claude 모델의 핵심 어휘를 분석하는 글을 발표했어요. 모델이 사용하는 단어의 빈도와 중요도를 파악하여 모델의 동작 방식 이해에 도움을 줍니다. 이 분석은 모델의 예측 가능성과 제어 가능성을 높이는 데 기여할 수 있습니다.
부하 지표는 특정 단어가 모델의 출력에 얼마나 큰 영향을 미치는지 나타내는 지표로, Claude의 경우 '중요한' 단어와 '부하'를 지닌 단어를 구분할 수 있습니다. 이 지표를 활용하여 모델의 행동을 예측하고 제어하는 방법을 연구할 수 있습니다.