Unbounded Labs가 2.82B 파라미터의 'Bart' LLM을 공개했어요. Bart는 1931년 이전 영어 텍스트 201억 토큰으로 학습됐어요. 이 모델은 과거 과학자들의 결론에 도달할 수 있는지 연구하기 위해 개발됐어요.
Vintage CORE 벤치마크에서 동급 규모 모델 중 최고 성능을 기록했으며, 1930년대 이전 텍스트 기반 41만6천 개의 질문-답변 쌍으로 구성된 SFT 데이터셋을 공개했어요.
연구팀은 10시간 동안 H100에서 100개의 실험을 진행해 26개의 개선점을 발견했으며, 모델 학습에 약 807달러가 소요됐다고 밝혔어요.
Unbounded Labs는 추가 연구를 위해 컴퓨팅 자원, 펀딩, 멘토를 찾고 있으며, 1931년 이전 텍스트 기반 LLM 분야 발전에 기여할 것으로 기대돼요.