tlennon-ie가 이미지·영상 데이터셋 자동 큐레이션 툴 'Cull'을 공개했어요. Civitai, X, Reddit, Discord 등 다양한 플랫폼에서 데이터를 수집하고, 품질 및 관련성 점수를 기반으로 자동 분류합니다. Hugging Face 데이터셋으로 내보내거나 로컬 패키지 데이터셋으로 저장 가능하며, Docker one-liner와 사용법이 README에 담겨있어요.
Cull은 중복 제거, 워터마크 감지, 자동 캡션 기능 등을 제공하며, LM Studio 또는 Ollama로 로컬에서 비전 모델을 실행하거나 Groq 또는 OpenAI 클라우드를 활용할 수 있습니다. 커뮤니티 프리셋과 테마를 통해 사용자 맞춤형 스크래퍼 프리셋 또는 테마를 쉽게 추가할 수 있습니다.
데이터베이스 없이 모든 파일이 디스크에 저장되며, MIT 라이선스로 무료로 사용할 수 있습니다.