Storyteller automatiza la lectura inmersiva con un algoritmo de alineación forzada
Automating Immersive Reading
Storyteller, una plataforma de lectura inmersiva, ha desarrollado un algoritmo que alinea automáticamente libros electrónicos y audiolibros, sincronizando palabra por palabra el audio con el texto. El autor detalla los desafíos de la alineación forzada, como diferencias en el orden de capítulos, capítulos ausentes en uno de los formatos, pasajes omitidos y variaciones en la elección de palabras. Para resolverlos, utiliza el modelo MMS (Massively Multilingual Speech) para generar emisiones CTC y un algoritmo de búsqueda de límites que localiza cada capítulo en el audio. El resultado es un EPUB con Media Overlays que permite resaltar cada frase mientras se narra.
Todos los niños, excepto uno, crecen. Pronto saben que crecerán, y la forma en que Wendy lo supo fue esta.
- smoores
Recientemente me tomé una semana libre del trabajo para reimplementar el algoritmo de alineación forzada de Storyteller. Storyteller[1] es una plataforma de código abierto, autoalojada, para crear, gestionar y leer/escuchar libros "readaloud" — libros que tienen narración de audiolibro integrada y pueden resaltar cada frase (y/o palabra, ¡con este nuevo algoritmo!) mientras se leen en voz alta. La alineación forzada es el proceso de determinar dónde empieza y termina cada fragmento de texto en el audiolibro.
De todos modos, estoy muy contento con cómo ha quedado el nuevo algoritmo. ¡Espero que a alguien más también le resulte interesante!
- SamBam
Tengo curiosidad por saber si el resaltado de palabras individuales es lo mejor para personas con discapacidades de lectura, o si quizás sea preferible un resaltado amplio de la frase completa.
Cuando leo, mis ojos saltan de un lado a otro a lo largo de la frase. La demo lo dejó muy claro: de hecho fue muy difícil simplemente seguir la palabra resaltada.
Solo usando el hecho de que me considero un muy buen lector como ejemplo, me pregunto si hay ventajas en que el ojo sea libre de saltar de un lado a otro dentro de una frase.
Supongo que podría ser tan simple como una opción de preferencia del usuario, ya que de todos modos estás resaltando la frase.
También podrías probar interfaces donde el resaltado fuera más "difuso", centrado en la palabra que se dice pero extendiéndose hacia las otras palabras a ambos lados (quizás hasta el límite de la frase) para guiar la vista hacia ella. Me imagino algo como el color de texto rojo-azul del editor BeeLine.
- cainxinth
Así es como reviso mis textos. Reproduzco un lector de pantalla mientras leo mi trabajo. El cerebro hace un poco de autocorrección que ni siquiera notas y ocasionalmente se salta un error tipográfico cuando lo lees sin el audio.
- mobeets
¡Esto es realmente impresionante! Una cosa que a menudo he deseado es una manera de escuchar un libro electrónico (por ejemplo, mientras cocino), y luego poder sentarme y leer desde donde lo dejé. Esto esencialmente requiere la misma funcionalidad que ofrece Storyteller (sincronizar el progreso a través de un libro electrónico y un audiolibro), aunque quizás sea excesivo para este caso de uso (ya que podría manejar una alineación más gruesa). En cualquier caso, ¿es esto algo para lo que Storyteller sería bueno? ¿O hay otras herramientas para el trabajo?
- orphereus
¿Cuál es el propósito de esto fuera de las personas con discapacidades? ¿Por qué necesitas resaltar palabras? Es como esos TikToks y reels de IG donde muestran una palabra a la vez para mantenerte enganchado.
Seguramente, si necesitas esto para leer un libro (de nuevo, aparte de cualquier discapacidad), deberías cambiar tus hábitos actuales.