esp32-pie-asr - ESP32-P4上で動作するクラウド不要のストリーミング音声認識
Show HN: Live speech-to-text on an ESP32-P4 microcontroller, no cloud
esp32-pie-asrは、ESP32-P4マイクロコントローラ上で完全に動作するライブ英語音声認識システムです。65.7MパラメータのKrokoモデルを2/4ビット量子化で26.65MBまで圧縮し、32MB PSRAMに展開。クラウドやニューラルアクセラレータを使わず、2つのRISC-VコアとPIE SIMD命令だけでリアルタイム(0.70倍速)を実現します。LibriSpeech test-cleanで4.34% WERという高精度を誇り、マイク入力から画面表示までオンデバイスで完結。6つの音声制御デモも搭載し、SDカードに重みを置くだけでブラウザから簡単にフラッシュできます。
クラウドもニューラルアクセラレータも不要。ボードのマイクに入力すれば、話した言葉がそのまま画面に表示される——ESP32-P4単体で動くライブ音声認識です。