LAION 发布 1000 万小时开源视频数据集
Laion Big Video Dataset
LAION 团队推出了 LAION-BVD，一个包含 13 亿视频 URL 的超大规模开源数据集。研究团队从中下载并处理了 8000 万个视频，总时长高达 1000 万小时，专为多模态学习设计。通过内容感知场景检测，团队生成了视频和音频的合成描述，使得在该数据集上训练的模型在视频 - 文本和音频 - 文本基准测试中表现优异。此外，提取的视频帧因其独特的视觉分布，也为图像 - 文本预训练提供了高质量的新数据源。该数据集仅用于科研目的，旨在打破大型科技公司对多模态数据的垄断，推动可复现的开放研究。
大型视频数据集及其训练模型正日益集中在少数专有技术公司手中，这限制了独立的科学调查和可复现性。
HN 评论区
23- voidUpdate
天哪，他们得联系这么多视频创作者，请求允许将其内容用作机器学习训练数据。除非，他们根本没这么做，而是直接照做了……
- vivzkestrel
- 有没有专业人士能给我们讲讲实现这个所涉及的架构？
- 假设你在 Python 的 aiohttp 里运行 yt-dlp
- 你的 IP 地址肯定很快就会被标记，从而触发限制
- 在 Python 中自动轮换代理有什么解决方案？
- 有没有更好、更快、更可靠的方法来下载 1 亿个视频，同时避免 IP 被封？
- topwalktown
“总体而言，我们尝试下载了 1.3 亿个视频，链接成功率约为 60%，最终成功获取了 8000 万个视频，总时长达 1000 万小时。”
我对这么高的成功率感到震惊。YouTube 居然没封他们，我实在想不通。不过我觉得这份 URL 列表的寿命不会太长，因为 YouTube 很快就会封掉任何试图自行下载这些视频的研究者。