LAION libera un dataset abierto con 80 millones de videos y 10 millones de horas para investigación multimodal
Laion Big Video Dataset
LAION presenta LAION-BVD, un dataset de video a gran escala con 1.3 mil millones de URLs de video de CommonCrawl, de las cuales se descargaron 80 millones de videos, sumando 10 millones de horas. Incluye clips anotados con subtítulos generados sintéticamente y frames extraídos para pre-entrenamiento de imagen-texto. Los modelos entrenados con estos datos alcanzan resultados competitivos en benchmarks de video-texto, audio-texto e imagen-texto, superando a los entrenados con InternVid en hasta 2.1%. El dataset está disponible exclusivamente para investigación, con el objetivo de democratizar el acceso a datos multimodales a gran escala.
Los modelos entrenados con LAION-BVD alcanzan un rendimiento competitivo en benchmarks estándar de video-texto y audio-texto, con mejoras consistentes a medida que aumenta la escala de entrenamiento o del modelo.
- voidUpdate
Vaya, eso es un montón de videos para que contacten a los creadores y pidan permiso para usar su contenido como material de entrenamiento para el aprendizaje automático. A menos, claro, que no lo hayan hecho y simplemente hayan seguido adelante de todos modos...
- vivzkestrel
- ¿Alguien con experiencia puede darnos una visión general de la arquitectura involucrada en hacer esto?
- Digamos que ejecutaste yt-dlp dentro de python aiohttp.
- Seguramente pronto te encontrarás con un límite, ya que tu dirección IP será marcada.
- ¿Qué soluciones tenemos para rotar proxies automáticamente en Python?
- ¿Hay formas mejores, más rápidas y más fiables de descargar 100 millones de videos sin que te bloqueen la dirección IP?
- topwalktown
"En total, intentamos descargar 130 millones de videos y logramos una tasa de éxito de enlaces de aproximadamente el 60%, lo que resultó en 80 millones de videos recuperados con éxito con una duración total de 10 millones de horas."
Me asombra que la tasa de éxito sea tan alta. Cómo YouTube no los bloqueó, no lo sé. Pero creo que esta lista de URL no envejecerá bien porque YouTube bloqueará muy rápidamente a cualquier investigador que intente descargar estos videos por sí mismo.