Next-Concept Modeling genera texto 31 veces más rápido que los mejores modelos de difusión
Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation
Los modelos de lenguaje de difusión (DLM) permiten un muestreo en paralelo, pero pierden calidad con pocos pasos y procesan la secuencia completa en cada uno. Next-Concept Modeling (NCM) propone un enfoque de dos etapas, de lo grueso a lo fino: un VQ-VAE residual multiescala codifica el texto en una jerarquía de códigos discretos y un transformer genera un nivel a la vez, prediciendo en paralelo todos los códigos de ese nivel. En LM1B supera al mejor DLM con 21 veces más velocidad; en XSum iguala su ROUGE-L siendo 31 veces más rápido, y en Sudoku supera a los baselines autoregresivos y de difusión.
En XSum, NCM iguala el ROUGE-L del DLM más potente siendo 31 veces más rápido.
- pinyen_cheng
Eso es bastante innovador. Pero un tokenizer y un método de entrenamiento completamente nuevos requieren mucho esfuerzo para hacer el reentrenamiento. Que se implemente ampliamente o no dependerá del rendimiento real de frontera que pueda alcanzar.
- OOTY00TYOO
Si no podemos construir el hardware lo suficientemente rápido. ¿Alguien puede explicarme por qué aparentemente el 50% de las GPU y la memoria que compran los hyperscalers está parado en almacenes por falta de centros de datos? Los hyperscalers están acaparando tecnología y ni siquiera pueden usarla. Es ridículo.
- swiftcoder
¿Quién va a entrenar un buen modelo grande de programación basado en esto? Yo no tengo las GPUs para hacerlo...
- siamaksalman
Estoy intentando ejecutarlo, hasta ahora sin suerte
- cubefox
Esto parece muy interesante. Su nuevo objetivo de modelado de lenguaje muestra algunas mejoras grandes sobre el modelado de difusión enmascarada.
Sin embargo, apenas lo comparan con el objetivo convencional de predicción del siguiente token, lo que sugiere que no lo superan, excepto en tareas altamente no lineales como el sudoku. Lamentablemente, los artículos de machine learning a menudo tienden a centrarse exclusivamente en lo positivo sin mencionar los aspectos malos.