Hugging Face는 Papers with Code의 AI 연구 접근성 향상을 위해 강력한 검색 엔진을 구축했어요. 이 검색 엔진은 키워드 검색과 벡터 검색을 결합한 하이브리드 시스템을 사용합니다.
pgvector를 사용하여 PostgreSQL 데이터베이스에 의미론적 검색 기능을 추가하고, Hugging Face Jobs, Storage Buckets, Inference Endpoints를 활용하여 효율적인 검색 환경을 구축했어요.
현재 시스템은 arXiv 및 Daily Papers에서 수집한 11만 건 이상의 논문에 대한 임베딩을 유지하며, 모델 버전, 출력 차원, 입력 형식 버전 등 엄격한 임베딩 계약을 통해 안정성을 확보했어요.