Storyteller 如何实现沉浸式阅读自动化
Automating Immersive Reading
Storyteller 已发展为一个庞大的软件生态系统，其核心在于强制对齐算法。它能自动将电子书与有声书对齐，利用 EPUB 的 Media Overlays 规范，实现阅读时文字随朗读高亮的沉浸式体验。早期版本仅是一个 Python 脚本，但我发现现有的强制对齐工具难以处理章节顺序不一致、章节缺失、内容跳过及用词差异等书籍特有的挑战。为了解决这些问题，我引入了基于 Massively Multilingual Speech 模型的边界搜索算法，通过 CTC 发射和贪婪解码技术，在无需人工干预的情况下精准定位音频中的文本位置，让阅读体验更加流畅自然。
你总是会在两岁之后明白这一点，两岁就是终结的开始。
HN 评论区
41- smoores
我最近休了一周假，重新实现了 Storyteller 的强制对齐算法。Storyteller[1] 是一个开源、自托管的平台，用于创建、管理和阅读/收听“有声朗读”书籍——这类书籍内置了有声书旁白，并能随着朗读高亮显示每个句子（借助这个新算法，甚至能高亮每个单词！）。强制对齐是指确定有声书中每段文本起止位置的过程。
总之，我对新算法的效果非常满意！希望其他人也会觉得有趣。
- SamBam
我很好奇，对于有阅读障碍的人来说，单个单词高亮是否最佳，还是说更宽泛的整句高亮反而更合适。
我阅读时，眼睛会在句子里来回跳跃。演示版把这一点暴露无遗——光盯着高亮的单词其实很难跟得上。
就拿我自己这个自认为阅读能力很强的人来说，我也在想，让眼睛能自由地在句子里来回扫视是否有什么优势。
我猜这可能只是一个用户偏好开关那么简单，因为你本来就在高亮整句了。
你也可以尝试一些高亮更“扩散”的 UI 设计，聚焦于正在朗读的单词，但向左右两侧的其他单词渗透（也许直到句子边界的硬性截止），以此引导视线。我想象的效果有点像 BeeLine 编辑器那种红蓝文字配色。
- cainxinth
这就是我校对的方式。我会一边播放屏幕阅读器，一边阅读自己的作品。大脑会进行一些你甚至察觉不到的自动修正，而且当你不带音频阅读时，偶尔会跳过一些拼写错误。
- mobeets
这真的很令人印象深刻！我一直想要的一个功能就是：在电子书（比如做饭时）听书，然后稍后能坐下来从我离开的地方继续阅读。这本质上需要 Storyteller 提供的相同功能（同步电子书和有声书的进度），虽然对于这种用例来说可能有点杀鸡用牛刀（因为我可以处理更粗略的对齐）。无论如何，Storyteller 适合做这个吗？还是有其他工具能胜任？
- orphereus
除了帮助残障人士，这东西还有什么用途？你为什么需要单词高亮？这就像那些 TikTok 和 IG Reels 视频，一次显示一个词来把你钩住一样。
当然，如果你需要这个功能来读书（再次强调，除了残障人士之外），那你应该停止你现在的阅读习惯了。