Google, Gemini 3.5 Transcribe로 실시간 음성 인식의 정확도를 높이다
Gemini-3.5-Transcribe
Google이 최신 음성-텍스트 모델인 Gemini 3.5 Transcribe를 공개했다. 이 모델은 배경 소음, 전문 용어, 더듬거림을 처리하는 데 강점을 보이며, 실시간 스트리밍과 사전 녹음된 오디오 처리를 위한 두 가지 API를 제공한다. 평균 단어 오류율(WER)은 스트리밍 4.0%, 비스트리밍 2.6%로 기존 Chirp 3 대비 크게 개선됐고, 85개 이상의 언어를 지원하며 최대 3명의 화자를 식별한다. 개발자는 Google AI Studio와 Gemini Enterprise Agent Platform에서 사용할 수 있으며, Gboard, Chrome 등 Google 제품에도 통합될 예정이다.
기존의 음성 인식 모델은 배경 소음, 복잡한 전문 용어, 더듬거림 처리에 어려움을 겪지만, Gemini 3.5 Transcribe는 원시 오디오를 정확하고 깔끔하며 형식화된 텍스트로 직접 변환합니다.
HN 토론
122- Lucasoato
저는 회사 회의에서 독일어, 이탈리아어, 영어 음성을 사용해 구성한 벤치마크에서 최소 20개의 STT 모델을 테스트해 봤습니다. 음성에는 업계 특정 용어가 매우 많이 포함되어 있었고, 언어는 문장마다 바뀌었으며, 때로는 한 언어로 토론하는 중에 다른 언어의 단어가 언급되기도 했습니다. 저를 만족시킨 유일한 로컬 모델은 Voxtral Mini 3b이고, 약간 더 나은 유일한 유료 API는 eleven labs입니다. 네, Voxtral이 벤치마크에서 최고 점수를 받지 못할 수도 있지만, 저에게는 그저 문제를 해결해 준다는 점이 중요합니다. 속도 면에서는 최고가 아닐 수도 있지만... 그것은 저에게 문제가 되지 않습니다. Google의 이 새 모델을 테스트해 볼 의향은 있지만, 제 컴퓨터에서 쉽게 실행할 수 있는 모델 대신 이걸 선택할지는 확신이 서지 않습니다.
- Crystalin
저는 Pixel 11 Pro에서 테스트해 봤는데 대체로 마음에 들지 않습니다. 먼저 생각하지 않고 길게 말해야 할 때는 편리합니다. 하지만 주요 문제는 특정 표현을 사용해 정확한 말을 하고 싶을 때 모델이 그것을 '단순화'하여 의미를 깨뜨릴 수 있다는 것입니다. 예를 들어 "I hesitated to check it, I should have verified" => "I should have verified" ("I hesitated..." 부분이 제거되지만, 제가 그 말을 한 이유는 상대방에게 제가 더 일찍 생각했었다는 것을 알리고 싶었기 때문입니다). 그 문장을 여러 번 시도했는데 항상 첫 부분을 제거하더군요.
- ameliaquining
"함수 호출: 모델은 함수 호출을 통해 복잡한 작업(예: 이미지 생성 및 파일 분석)을 다른 Gemini 모델에 위임할 수 있습니다. 현재 Gemini macOS 앱에서 사용할 수 있습니다."
이 부분이 저를 엄청 혼란스럽게 만들었습니다. 마치 STT 모델이 임의의 작업을 실행하기 위해 함수 호출을 할 수 있는 것처럼 들리기 때문인데, 이는 말이 안 됩니다. 개발자 문서(https://ai.google.dev/gemini-api/docs/models/gemini-3.5-tran...)를 보면 Gemini 3.5 Transcribe 모델은 실제로 함수 호출을 할 수 없다는 것이 확인됩니다. 아마도 블로그 게시물이 소비자용 어시스턴트/챗봇 앱이 Gemini 3.5 Transcribe를 통해 오디오 입력을 받은 다음 필요에 따라 다른 것들을 호출할 수 있다는 것을 설명하기 위해 매우 혼란스러운 표현을 사용한 것 같습니다. 아니면 그 항목이 다른 모델 발표를 위한 것이었고 누군가 편집 오류를 범한 것일 수도 있습니다.
- lnalx
저는 실시간 번역기(https://fliptalk.ai)를 위해 모든 STT 모델을 직접 테스트했습니다. 언어 감지와 시끄러운 환경에서의 정확도부터 가장 중요한 포인트인 지연 시간까지 말이죠. 현재 Soniox STT v5가 확실히 최고이며, 그 성능에 깊은 인상을 받았습니다. Google이 Gemini-3.5-Transcribe를 출시한 것은 좋은 일이고 정확도에서는 다른 모든 모델을 능가하지만, STT 앱에서 가장 중요한 요소인 지연 시간에 대해서는 확실히 더 많은 개선이 필요합니다.
- zhivota
돈을 내고 토큰을 받는 방법을 알 수 있다면 Gemini API를 훨씬 더 많이 사용할 텐데요. 계층 구조는 경쟁사에 비해 터무니없이 많은 절차를 요구합니다.
- dayone1
Gemini 구독자에게도 제공되는지 아는 분 계신가요? API 사용자가 아닌 경우 말이죠. agy cli에서 이 모델을 직접 호출할 수 있나요?
- blissofbeing
저는 Pixel 9에서 Wispr Flow를 사용해 왔고 마음에 듭니다. Rambler가 해야 한다고 말하는 기능을 수행하지만, Rambler가 현재 Pixel 11에서만 사용할 수 있는 반면 제 Pixel 9에서 사용할 수 있습니다.
- fy20
혹시 이 문제를 해결할 수 있는지 아는 분 계신가요... Android에서 Google Assistant가 Gemini로 대체되고 있습니다. 그런데 Gemini는 실제로 어시스턴트 작업을 전혀 수행하지 못하는 것 같습니다. 노래 재생을 요청하면 Spotify를 실행하는 대신 재생할 수 있는 URL 목록만 제공합니다. 알람도 마찬가지입니다. 혹시 제가 실수로 어떤 옵션에 동의하지 않은 건가요?