Whistle: 16.9 MB로 구현한 온디바이스 음성 인식
Whistle: Speech to Text in 16.9 MB
Cactus Compute가 16.9 MB 크기의 음성 인식 모델 Whistle을 공개했다. CPU에서 의존성 없이 실행되며 Needle과 동일한 C++ 엔진에 로드된다. 7개 언어를 지원하고 첫 토큰까지 11 ms가 걸린다. Whisper base보다 8.6배 작으면서 LibriSpeech, SPGISpeech, Earnings-22 등에서 더 낮은 단어 오류율을 기록했다. Needle과 결합하면 하나의 바이너리로 음성을 텍스트로 변환하고 도구 호출까지 처리한다.
Whistle은 세 가지 작업을 모두 온디바이스에서 수행한다: 전사, 단어 타임스탬프, 음성 임베딩.
HN 토론
112- skolos
여기 이게 있다는 게 흥미롭네요. 저는 whistle(그리고 다른 여러 가지)을 사용해서 제 echo show의 소유권을 가져왔습니다. 이제는 Amazon에 전혀 연결하지 않고 자체 CPU로 모든 처리를 로컬에서 하며 홈 오토메이션을 위해 제 homeassistant에 연결됩니다. 초기 설정에는 rtx 5080에서 실행되는 qwen asr(1.7b 모델)이 포함되었습니다. 그에 비하면 whistle은 정말 형편없었습니다(170개 메시지 중 qwen은 168개를 정확히 인식했고 whistle은 70개). 하지만 저는 whistle을 jev처럼 작동하도록 조정했습니다. 자유 형식 전사 대신 선택된 템플릿 집합만 인식하도록 했습니다(whistle 최종 상태를 템플릿 내 확률로 변환하기 위해 10,000개의 생성된 발화로 작은 네트워크를 훈련했습니다). 정밀도는 164/170으로 올라가 qwen과 거의 비슷해졌습니다. 참고로 저는 심한 억양으로 말합니다.
- jakobov
ZWhispr가 바로 그곳입니다
- INTPenis
음성-텍스트 변환의 과제가 바이너리 크기라고는 생각하지 않습니다. 제 경험상 과제는 뇌졸중 후 입이 처진 84세 크로아티아인 아버지가 자서전을 쓰려고 할 때 그분을 이해하는 것입니다. 지난주에 그분을 위해 Windows 음성-텍스트를 설정했는데, 10분 만에 한 페이지 전체를 쓸 수 있는 모습을 보니 정말 좋습니다. 키보드를 사용하면 며칠이 걸릴 텐데 말이죠. 하지만 그분이 입으로 내는 모든 소리가 페이지에 그대로 들어갑니다.
- albert_e
데모가 하지 않는 것은 우리가 말하고 녹음하는 동안(중지 버튼을 누르기 전에) 전사된 텍스트의 스트리밍 출력을 보여주지 않는다는 점입니다. 제 생각에는 대부분의 범용 라이브 STT 앱에 이 기능이 필수적입니다.
- zimpenfish
무작위 TV 에피소드에 시도해봤는데, 가끔 기본값처럼 "Thank you."만 출력하는 데 걸리는 것 같습니다. 어느 순간에는 60초 분량의 대화에 대해 그렇게 출력하기도 했습니다(그리고 아니요, 그 에피소드에 누군가 60초 동안 "Thank you."를 반복하는 부분은 없습니다). 전사 중에 여러 번 발생합니다.
- wkcheng
Parakeet과 비교하면 어떻습니까? 저는 M 시리즈 맥북에서 로컬로 프로젝트에 사용해 왔는데 아주 잘 작동했습니다. 제 사용 사례(회의 전사, 데모 비디오용 오디오 전사 등)에 충분히 빠르고 정확합니다.
이것은 확실히 더 가볍고 빠른 것 같습니다. 정확도는 어떻게 비교됩니까?
- flowerlad
Apple은 이것을 가능한 한 빨리 iOS에 통합해야 합니다. 기술 용어를 사용할 때 이것은 iOS의 음성 인식보다 훨씬 잘 작동합니다. iOS에서 가장 답답한 부분 중 하나는 iMessage의 음성-텍스트입니다. 저에게는 휴대폰에서 이보다 더 중요한 기능이 없습니다.
이 예를 시도해보세요: 제 웹사이트는 ASP.NET 기술을 사용하고 저는 .NET 10.0을 사용하고 있습니다. Whistle에서는 완벽하게 작동하지만 iOS에서는 그렇지 않습니다.
- andy_ppp
와, 확실히 영어에서는 이것이 믿을 수 없을 정도로 정확합니다. 깨뜨리려고 시도했는데 저를 완벽하게 이해했습니다!
약간 주제에서 벗어난 것은 알지만, 이제는 사용하는 모든 사람을 짜증나게 하지 않는 맞춤법 검사기를 훈련하는 것이 쉬워야 하지 않을까요(여기 애플 너 말이야)!