2026-08-26 — views
LAION-BVD 发布用于多模态预训练的1000万小时开放视频数据集
为什么值得读 建设者需要这种规模的数据来训练跨视频、音频和图像模态的竞争性多模态模型，而无需依赖专有数据。
研究人员发布了 LAION-BVD，这是一个包含8000万个视频的开放数据集，总时长达1000万小时，数据源自 CommonCrawl。该数据集旨在支持视频、音频和图像等多模态的预训练任务，无需依赖专有数据即可训练具有竞争力的多模态模型。
数据集概述
我们介绍了 LAION-BVD，这是一个用于多模态学习的大规模开放视频数据集。该集合包含从 CommonCrawl 收集的13亿个平台特定视频URL。从这些初始URL中，团队下载了8000万个视频，总时长为1000万小时。该数据集旨在支持跨视频、音频和图像模态的多模态预训练。
数据处理与标题生成
利用内容感知的场景检测技术，该项目提取片段并合成生成视频和音频标题。在这些数据上训练的模型在标准视频 - 文本和音频 - 文本基准测试中取得了具有竞争力的性能。结果表明，随着训练或模型规模的增加，性能持续改进。
图像 - 文本检索
此外，团队探索了视频帧作为图像 - 文本数据的替代来源，通过提取场景切换帧来实现。这些帧表现出与标准网络图像语料库不同的视觉分布。在该数据集上训练的模型实现了强大的图像 - 文本检索性能。
实务笔记
开发人员应考虑使用 LAION-BVD 显著扩大多模态视频的开放访问权限，为其自身的预训练管道提供前所未有的规模支持。