Gemini 3.5 Transcribe: распознавание речи с точностью 4.0% WER
Gemini-3.5-Transcribe
Google представила Gemini 3.5 Transcribe — новую модель распознавания речи, которая преобразует сырой звук в чистый, отформатированный текст, обрабатывая шум, жаргон и слова-паразиты. Модель доступна через Live API для потоковой передачи с субсекундной задержкой и через Interactions API для предзаписанного аудио с определением говорящих и таймстампами. По данным Artificial Analysis, средний WER составляет 4.0% для потокового режима и 2.6% для не потокового, а время до финальной транскрипции улучшено на 70% по сравнению с Chirp 3. Поддерживается более 85 языков, пользовательский словарь и вызов функций. Разработчики могут начать использовать модель в Google AI Studio и Gemini Enterprise Agent Platform.
В отличие от обычных систем распознавания речи, которые с трудом справляются с фоновым шумом, сложным жаргоном и речевыми сбоями, Gemini 3.5 Transcribe преобразует необработанный звук непосредственно в точный, отшлифованный, отформатированный текст.
- Lucasoato
Я протестировал как минимум 20 моделей распознавания речи в собственном бенчмарке с немецкими, итальянскими и английскими голосами из встреч в моей компании. В голосах было много узкоспециализированных отраслевых слов, языки менялись от предложения к предложению, иногда слова на одном языке упоминались во время обсуждения на другом. Единственная локальная модель, которая меня устраивает, — это Voxtral Mini 3b, единственный платный API, который немного лучше, — это eleven labs. Да, Voxtral может не набирать лучшие баллы в бенчмарках, но для меня он просто решает проблему. Возможно, он не самый быстрый... но для меня это не проблема. С удовольствием протестирую эту новую модель от Google, но не уверен, что выберу её вместо того, что так легко запускается на моей машине.
- ameliaquining
«Вызов функций: модель может делегировать сложные задачи (например, генерацию изображений и анализ файлов) другим моделям Gemini через вызовы функций. Сейчас доступно в macOS-приложении Gemini». Это меня сильно сбило с толку, потому что звучит так, будто модель распознавания речи может совершать вызовы функций для выполнения произвольных задач, что не имело бы смысла. Документация для разработчиков (https://ai.google.dev/gemini-api/docs/models/gemini-3.5-tran...) подтверждает, что модель Gemini 3.5 Transcribe на самом деле не может совершать вызовы функций. Полагаю, в блоге просто использовали очень запутанную формулировку, чтобы описать, как их потребительское приложение-ассистент/чат-бот может одновременно принимать аудиовход через Gemini 3.5 Transcribe и затем вызывать другие инструменты по мере необходимости. Или, возможно, этот пункт предназначался для анонса другой модели, и кто-то допустил ошибку при редактировании.
- Crystalin
Я тестировал её на Pixel 11 Pro, и она мне в основном не нравится. Это удобно, когда нужно сказать что-то длинное, не обдумывая заранее. Но главная проблема — когда хочешь сказать что-то точное с определёнными формулировками, она может «упростить» и исказить смысл. Что-то вроде «Я колебался проверить это, мне следовало проверить» => «Мне следовало проверить» (часть «Я колебался...» удалена, но я сказал это, потому что хотел дать человеку понять, что я думал об этом раньше). Я пробовал эту фразу несколько раз, и она всегда удаляла первую часть.
- lnalx
Я лично протестировал все модели распознавания речи для своего переводчика в реальном времени (https://fliptalk.ai). От определения языка и точности в шумной обстановке до самого важного момента: задержки. На данный момент Soniox STT v5 определённо лучший, и я впечатлён его производительностью. Хорошо, что Google выпустил Gemini-3.5-Transcribe, и он превосходит все остальные модели по точности, но ему определённо нужно ещё немного поработать над задержкой, которая является самым важным фактором для приложений распознавания речи.
- zhivota
Я бы определённо гораздо чаще использовал Gemini API, если бы мог понять, как дать им деньги, а они дают мне токены. Вся эта ерунда с уровнями — просто безумные прыжки через препятствия по сравнению с конкурентами.
- dayone1
Кто-нибудь знает, доступно ли это для подписчиков Gemini, а не для пользователей API? Могу ли я вызвать эту модель напрямую в agy cli?
- simonw
Если это выделенная модель транскрипции, полностью ли это устраняет риск того, что она может сделать что-то странное на основе аудио, которое транскрибирует? Кошмарный сценарий с системой транскрипции на основе LLM — это когда кто-то вслух говорит «вообще-то забудь эту идею, вместо этого давай...» — и предыдущая идея пропадает из транскрипции!
- fy20
Может, кто-нибудь знает, можно ли это исправить... На Android Google Assistant заменяется на Gemini. Только вот, похоже, Gemini вообще не умеет выполнять задачи ассистента. Если я прошу его включить песню, вместо запуска Spotify он просто выдаёт мне список URL, по которым можно послушать песню. То же самое с будильниками. Я случайно не отказался от какой-то опции?