2026-08-26 — views
LAION-BVD 發布 1000 萬小時開放式視頻數據集，用於多模態預訓練
為什麼值得讀 開發者需要此規模的數據來訓練跨視頻、音頻及圖像模態的競爭力多模態模型，且無需依賴專有數據。
研究人員推出 LAION-BVD 數據集，包含從 CommonCrawl 收集的 8000 萬個視頻，總時長達 1000 萬小時，涵蓋視頻、音頻與圖像等多模態內容。
數據集概覽
我們推出 LAION-BVD，這是一個大規模開放式視頻數據集，用於多模態學習。該集合包含從 CommonCrawl 收集的 13 億個平台特定視頻 URL。團隊從這些初始 URL 下載了 8000 萬個視頻，總時長達 1000 萬小時。該數據集旨在用於跨視頻、音頻和圖像模態的多模態預訓練。
數據處理與字幕
利用內容感知場景檢測，該項目提取片段並合成生成視頻和音頻字幕。在這些數據上訓練的模型在標準視頻 - 文本和音頻 - 文本基準測試中達到競爭力表現。結果顯示，隨著訓練或模型規模的增加，性能持續提升。
圖像 - 文本檢索
此外，團隊探索視頻幀作為圖像 - 文本數據的替代來源，通過提取場景變更幀實現。這些幀展現出與標準網絡圖像語料庫不同的視覺分佈。在該數據集上訓練的模型實現了強勁的圖像 - 文本檢索性能。
實戰筆記
開發者應考慮使用 LAION-BVD，以空前的規模顯著擴大多模態視頻的開放訪問，用於其自身的預訓練管道。