自作音声アシスタントの誤検知を、Silero VADとmicroWakeWordで一掃した
Rebuilding my local voice assistant pipeline

自作の音声アシスタントは誤検知や発話終了の判定に悩まされていた。そこでホットワード検出をESPHomeやHome Assistant Voiceでも使われるmicroWakeWordに、音声区間検出をSilero VADに置き換え、ヒステリシスや適応ノイズフロアを導入。合成音声のベンチマークでは、発話終了後6〜10秒も会話が続いていたのが1.0〜1.6秒で終わるようになった。
合成音声のベンチマークでは、旧設定だと発話が終わってからも6〜10秒間会話が開いたままだったが、新しいパイプラインでは最後の単語から1.0〜1.6秒で終了する。
HNでの議論
14- mmmooo
古いAmazon Echo DotやShowは、これに本当に最適なハードウェアで、Home Assistantと組み合わせれば、非常に安価に手に入ります。例えば、宣伝になりますが:https://github.com/ygelfand/echolocal
- mewse-hn
興味深い記事ですね。私はウェイクワードなしの同様のパイプライン(VAD > ASR > LLM > TTS)を使ってAndroidの音声アシスタントをバイブコーディングしています。
parakeetはwhisperよりもはるかに優れていることがわかりました。そして、私のポンコツなAndroidテストデバイス用にparakeet 110Mの4ビット量子化版を作りました。おそらくRaspberry Piにも載るでしょう:
https://huggingface.co/mewse/parakeet-tdt_ctc-110m-onnx-int4
- fragilerock
興味深い記事!私は自分用のローカル音声アシスタントを持っていて、つい先日まったく同じクエスチョンマークのトリックを実装しました。
全体のパイプラインは以前の設定とかなり似ていますが、STT -> LLM -> TTSのパイプラインが腹立たしいほど遅いと感じました。whisper/piperを使ったTTSとSTTはローカルで問題なく、そこそこ速く動作しましたが、本当のボトルネックは常に、それらがLLM呼び出しと同時に実行されていないという事実でした。結局、オープンソースのOpenAIリアルタイムAPI ESP32プラグインをフォークして、自分好みにパッチを当てました。APIコストの面では少し高くなりますが、控えめにしか使わないし、今ではずっと快適に使えています。