Я пересобрал свой голосовой ассистент: теперь он замолкает через секунду после последнего слова
Rebuilding my local voice assistant pipeline

Автор довёл до ума самодельный голосовой конвейер на Platypush: заменил openWakeWord на microWakeWord, добавил Silero VAD с гистерезисом, скользящим окном и адаптивным уровнем шума. На синтетическом тесте старый пайплайн держал разговор открытым ещё 6–10 секунд после конца речи, новый закрывает его за 1,0–1,6 секунды. Распознавание и синтез — через OpenAI, но есть и полностью локальные варианты на Vosk и Piper.
На синтетическом бенчмарке старые настройки держали разговор открытым ещё 6–10 секунд после окончания речи; новый пайплайн завершает его через 1,0–1,6 секунды после последнего слова.
- mmmooo
старые amazon echo dot и show — на самом деле отличное железо для этого, в связке с homeassistant, и их можно заполучить за очень небольшие деньги. например, самопиар: https://github.com/ygelfand/echolocal
- mewse-hn
Интересная статья, я вайб-кодил андроид-голосового ассистента с похожим пайплайном без wakeword — VAD > ASR > LLM > TTS
Я обнаружил, что parakeet намного, намного лучше whisper, и я сделал 4-битный квант parakeet 110M для своих более слабых тестовых андроид-устройств, он, вероятно, поместится на raspberry pi:
https://huggingface.co/mewse/parakeet-tdt_ctc-110m-onnx-int4
- fragilerock
Интересное чтиво! У меня есть свой локальный голосовой ассистент, и я реализовал точно такой же трюк с вопросительным знаком как раз на днях.
Общий пайплайн довольно похож на мою предыдущую настройку, но я нашёл пайплайн STT -> LLM -> TTS просто до бешенства медленным. TTS и STT с whisper/piper работали нормально и достаточно быстро локально, но настоящим узким местом всегда было то, что они не работают одновременно с вызовом LLM. В итоге я форкнул open source плагин openai realtime API для ESP32 и пропатчил его под себя. Это немного дороже с точки зрения затрат на API, но я использую его редко, и теперь пользоваться им гораздо приятнее.