2026-08-26 — views
LAION-BVD, 멀티모달 사전 학습을 위한 1000 만 시간 오픈 비디오 데이터셋 출시
읽어야 하는 이유 개발자들은 비디오, 오디오, 이미지 모달리티를 아우르는 경쟁력 있는 멀티모달 모델을 훈련하기 위해 이 규모의 데이터가 필요합니다.
LAION-BVD 는 CommonCrawl 에서 수집한 총 8000 만 개 비디오 (1000 만 시간) 를 포함하는 대규모 오픈 비디오 데이터셋으로, 비독점 데이터를 활용한 멀티모달 모델 학습에 필수적입니다.
데이터셋 개요
우리는 멀티모달 학습을 위한 대규모 오픈 비디오 데이터셋인 LAION-BVD 를 소개합니다. 이 컬렉션은 CommonCrawl 에서 수집한 플랫폼별 13 억 개의 비디오 URL 을 포함합니다. 초기 URL 에서 팀은 총 지속 시간 1000 만 시간의 8000 만 개 비디오를 다운로드했습니다. 이 데이터셋은 비디오, 오디오, 이미지 모달리티 전반에 걸친 멀티모달 사전 학습을 위해 설계되었습니다.
데이터 처리 및 캡션
콘텐츠 인식 장면 감지를 사용하여 팀은 합성적으로 비디오 및 오디오 캡션을 생성할 클립을 추출합니다. 이 데이터로 훈련된 모델은 표준 비디오 - 텍스트 및 오디오 - 텍스트 벤치마크에서 경쟁력 있는 성능을 달성합니다. 결과에 따르면 훈련 또는 모델 규모가 증가함에 따라 일관된 개선이 나타납니다.
이미지 - 텍스트 검색
또한 팀은 장면 변경 프레임을 추출하여 비디오 프레임을 이미지 - 텍스트 데이터의 대안적 출처로 탐구합니다. 이러한 프레임은 표준 웹 이미지 코퍼사와 다른 시각적 분포를 보입니다. 이 데이터셋으로 훈련된 모델은 강력한 이미지 - 텍스트 검색 성능을 달성합니다.
실무자 노트
개발자들은 자신의 사전 학습 파이프라인에서 멀티모달 비디오에 대한 오픈 액세스를 이전례 없는 규모로 크게 확장하기 위해 LAION-BVD 사용 여부를 고려해야 합니다.