2026-08-26 — views
LAION-BVD、マルチモーダル事前学習用の1000万時間オープン動画データセットを公開
読む理由 開発者は、固有データに依存せず、動画、音声、画像のすべてのモーダルで競争力のあるマルチモーダルモデルを訓練するためにこの規模が必要です。
CommonCrawlから収集した8000万本の動画（総計1000万時間）を含むLAION-BVDデータセットが公開されました。動画・音声・画像のマルチモーダルモデル訓練に不可欠な規模です。
データセット概要
我々は、マルチモーダル学習用の大規模オープン動画データセットLAION-BVDを提示します。このコレクションには、CommonCrawlから収集された13億のプラットフォーム固有の動画URLが含まれています。これらの初期URLから、チームは8000万本の動画をダウンロードし、総計1000万時間の期間を取得しました。このデータセットは、動画、音声、画像のモーダルを跨ぐマルチモーダル事前学習のために設計されています。
データ処理とキャプション
コンテンツ認識シーン検出を使用して、プロジェクトは合成生成された動画および音声キャプションを持つクリップを抽出します。これらのデータで訓練されたモデルは、標準的な動画テキストおよび音声テキストベンチマークで競争力のあるパフォーマンスを実現します。結果は、トレーニングまたはモデル規模が増加するにつれて一貫して改善を示しています。
画像テキスト検索
さらに、チームはシーン変更フレームを抽出することで、動画フレームを画像テキストデータの代替ソースとして探求します。これらのフレームは、標準的なウェブ画像コーパスとは異なる視覚分布を示します。このデータセットで訓練されたモデルは、強力な画像テキスト検索パフォーマンスを実現します。
実装ノート
開発者は、LAION-BVDを使用して、事前学習パイプラインのためにマルチモーダル動画へのオープンアクセスを前例のない規模で大幅に拡大することを検討すべきです。