Storyteller: Wie ein Algorithmus E-Books und Hörbücher automatisch synchronisiert
Automating Immersive Reading
Storyteller, eine Plattform für immersives Lesen, nutzt einen selbst entwickelten Algorithmus, um E-Books und Hörbücher automatisch zu synchronisieren. Der Beitrag erklärt die technischen Herausforderungen wie unterschiedliche Kapitelreihenfolgen, fehlende Kapitel und abweichende Textstellen und zeigt, wie der Algorithmus mit Hilfe von CTC-Emissions und einer Suche die Zuordnung löst. Der Autor beschreibt die Entwicklung von einem einfachen Python-Skript zu einem umfangreichen Ökosystem.
Ich hatte das Gefühl, im Dunkeln zu tappen, mir war bewusst, dass es wahrscheinlich Licht am Ende des Tunnels gab, aber ich konnte es nicht sehen.
- smoores
Ich habe mir kürzlich eine Woche frei genommen, um den Forced-Alignment-Algorithmus von Storyteller neu zu implementieren. Storyteller[1] ist eine quelloffene, selbst gehostete Plattform zum Erstellen, Verwalten und Lesen/Hören von "Readaloud"-Büchern – Bücher, die eine eingebaute Hörbuch-Erzählung haben und jeden Satz (und/oder jedes Wort, mit diesem neuen Algorithmus!) hervorheben können, während er vorgelesen wird. Forced Alignment ist der Prozess, bei dem bestimmt wird, wo jeder Textabschnitt im Hörbuch beginnt und endet.
Wie auch immer, ich bin wirklich zufrieden damit, wie der neue Algorithmus geworden ist! Hoffentlich findet ihn auch jemand anderes interessant.
- SamBam
Ich bin neugierig, ob die Hervorhebung einzelner Wörter für Menschen mit Leseschwäche am besten ist, oder ob eine breite, ganze Sätze umfassende Hervorhebung vielleicht vorzuziehen wäre.
Wenn ich lese, springen meine Augen im Satz hin und her. Die Demo hat das überdeutlich gemacht – es war tatsächlich sehr schwer, nur dem hervorgehobenen Wort zu folgen.
Allein die Tatsache, dass ich mich selbst als sehr guten Leser betrachte, als Beispiel nehmend, frage ich mich, ob es Vorteile hat, wenn das Auge frei ist, innerhalb eines Satzes hin und her zu springen.
Ich nehme an, es könnte so einfach sein wie ein Benutzerpräferenz-Umschalter, da du den Satz ja bereits hervorhebst.
Man könnte auch Benutzeroberflächen ausprobieren, bei denen die Hervorhebung "ausgebreiteter" ist, sich auf das gesprochene Wort konzentriert, aber in die umliegenden Wörter auf beiden Seiten übergeht (vielleicht bis zur harten Grenze der Satzgrenze), um das Auge dorthin zu führen. Ich stelle mir so etwas wie die rot-blaue Textfarbe des BeeLine-Editors vor.
- cainxinth
So mache ich Korrekturlesen. Ich spiele einen Screenreader ab, während ich meinen Text lese. Das Gehirn macht dabei eine Art automatische Korrektur, die man gar nicht bemerkt, und überspringt gelegentlich einen Tippfehler, wenn man ohne Audio liest.
- mobeets
Das ist wirklich beeindruckend! Was ich mir oft gewünscht habe, ist eine Möglichkeit, ein E-Book anzuhören (zum Beispiel beim Kochen) und mich später hinsetzen und ab der Stelle weiterlesen zu können, an der ich aufgehört habe. Das erfordert im Wesentlichen dieselbe Funktionalität, die Storyteller bietet (Synchronisieren des Fortschritts durch ein E-Book und ein Hörbuch), wenn auch für diesen Anwendungsfall übertrieben (da ich mit einer gröberen Ausrichtung zurechtkäme). Ist Storyteller dafür geeignet? Oder gibt es andere Werkzeuge für diese Aufgabe?
- orphereus
Was ist der Zweck davon abgesehen von Menschen mit Behinderungen? Warum braucht man Wort-Hervorhebung, das ist doch wie bei diesen TikToks und IG-Reels, wo ein Wort nach dem anderen gezeigt wird, um dich bei der Stange zu halten.
Sicherlich, wenn man das zum Lesen eines Buches braucht (wiederum abgesehen von Behinderungen), sollte man seine aktuellen Gewohnheiten überdenken.