Я пересобрал свой голосовой ассистент: теперь он замолкает через секунду после последнего слова

Rebuilding my local voice assistant pipeline

Я пересобрал свой голосовой ассистент: теперь он замолкает через секунду после последнего слова

Автор довёл до ума самодельный голосовой конвейер на Platypush: заменил openWakeWord на microWakeWord, добавил Silero VAD с гистерезисом, скользящим окном и адаптивным уровнем шума. На синтетическом тесте старый пайплайн держал разговор открытым ещё 6–10 секунд после конца речи, новый закрывает его за 1,0–1,6 секунды. Распознавание и синтез — через OpenAI, но есть и полностью локальные варианты на Vosk и Piper.

На синтетическом бенчмарке старые настройки держали разговор открытым ещё 6–10 секунд после окончания речи; новый пайплайн завершает его через 1,0–1,6 секунды после последнего слова.
  1. mmmooo

    старые amazon echo dot и show — на самом деле отличное железо для этого, в связке с homeassistant, и их можно заполучить за очень небольшие деньги. например, самопиар: https://github.com/ygelfand/echolocal

  2. mewse-hn

    Интересная статья, я вайб-кодил андроид-голосового ассистента с похожим пайплайном без wakeword — VAD > ASR > LLM > TTS

    Я обнаружил, что parakeet намного, намного лучше whisper, и я сделал 4-битный квант parakeet 110M для своих более слабых тестовых андроид-устройств, он, вероятно, поместится на raspberry pi:

    https://huggingface.co/mewse/parakeet-tdt_ctc-110m-onnx-int4

  3. fragilerock

    Интересное чтиво! У меня есть свой локальный голосовой ассистент, и я реализовал точно такой же трюк с вопросительным знаком как раз на днях.

    Общий пайплайн довольно похож на мою предыдущую настройку, но я нашёл пайплайн STT -> LLM -> TTS просто до бешенства медленным. TTS и STT с whisper/piper работали нормально и достаточно быстро локально, но настоящим узким местом всегда было то, что они не работают одновременно с вызовом LLM. В итоге я форкнул open source плагин openai realtime API для ESP32 и пропатчил его под себя. Это немного дороже с точки зрения затрат на API, но я использую его редко, и теперь пользоваться им гораздо приятнее.

Ещё за этот день

2026-11-19