Platypush wechselt zu microWakeWord und Silero VAD für zuverlässigere Spracherkennung
Rebuilding my local voice assistant pipeline

Nach Monaten mit einer selbst gehosteten Sprachassistenten-Pipeline war der Autor frustriert über Fehlalarme und schlechte Erkennung von Sprachbeginn und -ende. Der Umbau setzt auf microWakeWord statt openWakeWord, Silero VAD mit Hysterese, gleitendem Fenster und adaptivem Grundrauschen sowie Whisper über assistant.openai. Auf einem synthetischen Benchmark enden Gespräche nun 1,0 bis 1,6 Sekunden nach dem letzten Wort – zuvor blieben sie 6 bis 10 Sekunden offen.
Auf einem synthetischen Benchmark hielten die alten Einstellungen Gespräche noch 6 bis 10 Sekunden nach dem Ende der Sprache offen; die neue Pipeline beendet sie 1,0 bis 1,6 Sekunden nach dem letzten Wort.
- mmmooo
Ältere Amazon Echo Dots und Shows sind wirklich großartige Hardware dafür, kombiniert mit Homeassistant, und man bekommt sie für sehr wenig Geld. z.B. Schamlose Eigenwerbung: https://github.com/ygelfand/echolocal
- mewse-hn
Interessanter Artikel, ich habe einen Android-Sprachassistenten im Vibe-Coding-Stil mit einer ähnlichen Pipeline ohne Wakeword gebaut – VAD > ASR > LLM > TTS
Ich fand, dass Parakeet viel, viel besser ist als Whisper, und ich habe eine 4-Bit-Quantisierung von Parakeet 110M für meine schlechteren Android-Testgeräte erstellt; es würde wahrscheinlich auf einen Raspberry Pi passen:
https://huggingface.co/mewse/parakeet-tdt_ctc-110m-onnx-int4
- fragilerock
Interessanter Artikel! Ich habe meinen eigenen lokalen Sprachassistenten und habe genau denselben Fragezeichen-Trick erst vor ein paar Tagen implementiert.
Die Gesamtpipeline ist ziemlich ähnlich zu meinem vorherigen Setup, aber ich fand die STT -> LLM -> TTS-Pipeline einfach nur ärgerlich langsam. TTS und STT mit Whisper/Piper funktionierten bei mir lokal gut und einigermaßen schnell, aber der eigentliche Engpass war immer die Tatsache, dass sie nicht gleichzeitig mit dem LLM-Aufruf laufen. Am Ende habe ich ein Open-Source-OpenAI-Realtime-API-ESP32-Plugin geforkt und nach meinen Wünschen gepatcht. Es ist etwas teurer in Bezug auf die API-Kosten, aber ich nutze es nur sparsam und es ist jetzt so viel angenehmer zu benutzen.