Storyteller の自動アライメント: 本とオーディオブックを完璧に同期する方法
Automating Immersive Reading
Storyteller は、電子書籍とオーディオブックを自動的にアラインし、各単語が音声でいつ話されるかを特定するオープンソースプロジェクトです。この記事では、その中核となる強制アライメントアルゴリズムの仕組みを解説します。著者は、CTC エミッション、Wav2Vec 2.0、MMS モデルなどの技術を駆使し、章の順序の違いや欠落、読み飛ばし、言い換えといった課題を解決する方法を詳述します。
既存の強制アライメントツールは、ユーザーが事前に電子書籍の章とオーディオブックの章の対応関係を指定する必要がありました。これは非常に手間がかかる上、多くのオーディオブックには章メタデータすら存在しないため、難しい課題でした。
HNでの議論
43- smoores
最近、一週間の休暇を取って、Storytellerの強制アライメントアルゴリズムを再実装しました。Storyteller[1]は、オープンソースで自己ホスト型のプラットフォームで、「読み上げ」本、つまりオーディオブックのナレーションが組み込まれ、読み上げられる際に各文（そしてこの新しいアルゴリズムでは各単語も！）をハイライトできる本を作成、管理、読んだり聴いたりするためのものです。強制アライメントとは、テキストの各部分がオーディオブック内でどこで始まりどこで終わるかを決定するプロセスです。
とにかく、新しいアルゴリズムの出来には本当に満足しています！他の誰かも興味を持ってくれるといいのですが。
- SamBam
個々の単語のハイライトが読字障害を持つ人に最適なのか、それとも文全体の広いハイライトの方がむしろ好ましいのか、興味があります。
私が読むとき、目は文の中で行ったり来たりしています。デモでそれは明らかでした――ハイライトされた単語を追うのは実際とても難しかったです。
自分が非常に優れた読者であるという事実を例に挙げると、目が文の中で自由に行き来できることには利点があるのではないかと思います。
すでに文をハイライトしているので、ユーザー設定で切り替えられるだけの簡単なものかもしれないと思います。
また、ハイライトがより「広がった」UIも試せるでしょう。話されている単語に焦点を当てつつ、その両側の他の単語（おそらく文の境界の完全な停止まで）ににじみ出て、目をそこへ導くようなものです。BeeLineエディタの赤青のテキストカラーのようなものを想像しています。
- cainxinth
これは私が校正する方法です。自分の作品を読みながらスクリーンリーダーを再生します。脳は無意識のうちに自動修正を行い、時にはオーディオなしで読むとタイプミスをスキップしてしまうことがあります。
- mobeets
これは本当に素晴らしい！私がよく望むのは、（例えば料理中に）オーディオブックを聴いて、後で座って中断したところから読み始める方法です。これは本質的にStorytellerが提供する機能（電子書籍とオーディオブックの進行状況の同期）を必要としますが、このユースケースには過剰かもしれません（粗いアライメントで十分だからです）。いずれにせよ、これはStorytellerが適しているものでしょうか？それとも他に適したツールはありますか？
- orphereus
障害を持つ人以外にとって、これは何の目的があるのでしょうか？なぜ単語のハイライトが必要なのでしょうか？それはTikTokやIGのリールで、一語ずつ表示して注意を引きつけるようなものです。
確かに、これを使って本を読む必要があるなら（繰り返しますが、障害を除いて）、現在の習慣をやめるべきでしょう。