상용 음성 비서의 견고함에 밀린 자체 구축 파이프라인, Silero VAD로 되살리다

Rebuilding my local voice assistant pipeline

상용 음성 비서의 견고함에 밀린 자체 구축 파이프라인, Silero VAD로 되살리다

Platypush 제작자가 자체 호스팅 음성 비서 파이프라인을 다시 손봤다. openWakeWord의 잦은 오탐과 미탐에 지쳐 ESPHome과 Home Assistant Voice가 쓰는 microWakeWord로 웨이크 워드를 교체했고, 음성 종료 감지에는 Silero VAD를 도입해 히스테리시스, 슬라이딩 윈도우 다수결, 적응형 노이즈 플로어를 적용했다. 합성 벤치마크에서 발화 종료 후 6~10초씩 대화가 열려 있던 것이 1.0~1.6초로 줄었다. 응답과 TTS는 openai 플러그인이 맡고, Piper는 완전 로컬로 돌지만 RaspberryPi 5에서 3~4초 지연이 붙는다.

합성 벤치마크에서 기존 설정은 발화가 끝난 뒤에도 6~10초 동안 대화를 열어둔 반면, 새 파이프라인은 마지막 단어 후 1.0~1.6초 만에 대화를 종료한다.
  1. mmmooo

    예전 Amazon Echo Dot이나 Show는 이런 용도로 정말 훌륭한 하드웨어입니다. Home Assistant와 조합하면 되고, 아주 저렴하게 구할 수 있습니다. 예를 들어, 홍보 좀 하자면: https://github.com/ygelfand/echolocal

  2. mewse-hn

    흥미로운 글이네요. 저는 비슷한 파이프라인으로 웨이크워드 없이 안드로이드 음성 비서를 바이브 코딩해 왔습니다 - VAD > ASR > LLM > TTS

    parakeet이 whisper보다 훨씬, 정말 훨씬 낫다는 걸 알게 됐고, 제 구린 안드로이드 테스트 기기용으로 parakeet 110M의 4비트 양자화 버전을 만들었는데, 아마 라즈베리 파이에도 들어갈 겁니다:

    https://huggingface.co/mewse/parakeet-tdt_ctc-110m-onnx-int4

  3. fragilerock

    흥미롭게 읽었습니다! 저도 자체 로컬 음성 비서를 쓰고 있는데, 바로 며칠 전에 똑같은 물음표 트릭을 구현했어요.

    전체 파이프라인은 제 이전 구성과 꽤 비슷한데, STT -> LLM -> TTS 파이프라인이 정말 짜증나게 느리다는 걸 알았습니다. whisper/piper로 한 TTS와 STT는 로컬에서 잘 돌아가고 꽤 빨랐지만, 진짜 병목은 항상 그것들이 LLM 호출과 동시에 실행되지 않는다는 점이었어요. 결국 오픈소스 OpenAI realtime API ESP32 플러그인을 포크해서 제 입맛에 맞게 패치했습니다. API 비용 측면에서는 조금 더 비싸지만 아껴서만 쓰고 있고, 지금은 훨씬 쓰기 좋습니다.

이 날의 다른 글

2026-11-19