Whistle: Spracherkennung in nur 16,9 MB
Whistle: Speech to Text in 16.9 MB
Whistle ist ein neues Open-Source-Spracherkennungsmodell, das als einzelne 16,9 MB große Datei auf der CPU ohne Abhängigkeiten läuft. Es transkribiert sieben Sprachen, liefert das erste Token in 11 ms und lädt in dieselbe C++-Engine wie Needle. Neben Transkription bietet es Wort-Zeitstempel und Sprach-Embeddings. In Benchmarks übertrifft es Whisper base und Moonshine tiny v2 bei Größe, Geschwindigkeit und Wortfehlerrate auf mehreren Datensätzen.
Whistle ist bei LibriSpeech test-clean und test-other, bei SPGISpeech, bei Earnings-22 und beim FLEURS-Durchschnitt vorne. Whisper base liegt bei TED-LIUM, bei AMI und beim MLS-Durchschnitt vorne – bei 145,3 MB gegenüber 16,9.
- skolos
Interessant, dass das hier auftaucht. Ich habe Whistle (und eine Menge anderer Dinge) benutzt, um die Kontrolle über meinen Echo Show zu übernehmen. Jetzt wählt er überhaupt nicht mehr bei Amazon an – er verarbeitet alles lokal mit seiner eigenen CPU und verbindet sich mit meinem Home Assistant für die Hausautomatisierung. Mein anfängliches Setup beinhaltete qwen asr (1,7b-Modell) auf einer RTX 5080. Im Vergleich dazu war Whistle wirklich schlecht (von 170 Nachrichten erkannte qwen 168 korrekt, Whistle 70), aber ich habe Whistle so angepasst, dass es wie jev funktioniert – statt freier Transkription erkennt es nur eine ausgewählte Menge von Vorlagen (ich habe ein winziges Netzwerk mit 10.000 generierten Äußerungen trainiert, um den finalen Zustand von Whistle in Wahrscheinlichkeiten innerhalb der Vorlagen zu übersetzen). Die Genauigkeit stieg auf 164/170 – fast so gut wie qwen. Übrigens – ich spreche mit starkem Akzent.
- INTPenis
Ich glaube nicht, dass die Herausforderung bei Sprache-zu-Text die Größe der Binärdatei war. Meiner Erfahrung nach liegt die Herausforderung darin, meinen 84-jährigen kroatischen Vater mit einem hängenden Mund nach einem Schlaganfall zu verstehen, wenn er versucht, seine Autobiografie zu schreiben.
Ich habe letzte Woche gerade Windows Sprache-zu-Text für ihn eingerichtet, und es ist großartig zu sehen, wie er eine ganze Seite in 10 Minuten schreiben kann – mit der Tastatur würde er Tage brauchen.
Aber jedes einzelne Geräusch, das er mit dem Mund macht, landet auch auf der Seite.
- jakobov
ZWhispr ist der Hit
- albert_e
Was die Demo nicht zeigt, ist die Streaming-Ausgabe des transkribierten Textes, während wir sprechen und aufnehmen (bevor wir auf Stopp drücken). Das ist meiner Meinung nach eine wesentliche Funktion für die meisten allgemeinen Live-STT-Apps.
- zimpenfish
Habe es mit einer zufälligen TV-Episode versucht, und es scheint manchmal hängenzubleiben, wo es einfach "Thank you." als Standard ausgibt – an einer Stelle gab es das für 60 Sekunden Dialog aus (und nein, die Episode hat nicht jemanden, der 60 Sekunden lang "Thank you." wiederholt). Passiert mehrmals während der Transkription.
- wkcheng
Wie schneidet das im Vergleich zu Parakeet ab? Ich habe das lokal in meinen Projekten auf einem M-Series MacBook verwendet, und es funktioniert großartig. Es ist schnell und genau genug für meine Anwendungsfälle (Meeting-Transkription, Audio-Transkription für Demo-Videos usw.)
Das hier scheint definitiv leichter und schneller zu sein. Wie sieht es mit der Genauigkeit aus?
- flowerlad
Apple muss das ASAP in iOS integrieren. Das funktioniert viel besser als die Spracherkennung in iOS, wenn man technische Begriffe verwendet. Einer der frustrierendsten Aspekte von iOS ist Sprache-zu-Text in iMessage. Für mich ist keine Funktion in einem Telefon wichtiger.
Probieren Sie dieses Beispiel: Meine Website verwendet ASP.NET-Technologie und ich benutze .NET 10.0. Funktioniert perfekt in Whistle, aber nicht in iOS.
- andy_ppp
Wow, auf jeden Fall ist das auf Englisch unglaublich genau. Ich habe versucht, es zu überfordern, und es hat mich perfekt verstanden!
Ich weiß, es ist etwas off-topic, aber es muss doch inzwischen einfach sein, einen Rechtschreibprüfer zu trainieren, der nicht alle wahnsinnig nervt (ich schaue dich an, Apple)!