transcribe.cpp: Eine neue Transkriptionsbibliothek läuft auf 16 ASR-Familien und ist auf jedem Gerät beschleunigt
Der Autor von Handy stellt transcribe.cpp vor, eine auf ggml basierende Transkriptionsbibliothek für lokale Spracherkennung. Sie unterstützt über 60 Modelle aus 16 ASR-Familien, darunter Whisper und andere, und läuft auf Vulkan, Metal, CUDA und TinyBLAS. Jedes Modell wurde numerisch validiert und einem WER-Test unterzogen, um die Übereinstimmung mit der Referenzimplementierung zu gewährleisten. Die Bibliothek ist als Drop-in-Ersatz für whisper.cpp konzipiert und bietet offizielle Bindings für Python, JavaScript/TypeScript, Rust und Swift. Das Projekt entstand aus der Notwendigkeit, eine vertrauenswürdige Engine für die Verteilung von Handy zu haben, und wurde von Mozilla AI, Modal und Blacksmith unterstützt.
Ein RK3566 kann Modelle über transcribe.cpp auf seiner schwachen CPU schneller als in Echtzeit ausführen – das ist keine Hoffnung oder ein Traum, sondern eine Tatsache.