Nvidia выпустила открытую модель Nemotron 3.5 Transcribe, которая обходит проприетарные API по точности распознавания речи
Nvidia Nemotron 3.5 Transcribe: open ASR for 40 languages
Nvidia представила Nemotron 3.5 Transcribe — открытую модель на 30 млрд параметров (около 4 млрд активных), которая объединяет транскрипцию на 40 языках, диаризацию до 8 говорящих, перевод на 31 язык и ответы на вопросы по аудио. Модель занимает первое место среди открытых решений на Hugging Face Open ASR Leaderboard с WER 5,33% для английского и лидирует в бенчмарках диаризации David AI и VoiceArena. Вместе с ней опубликованы пайплайн Granary v2 на 463 тыс. часов аудио и рецепты дообучения, снижающие ошибки в медицинской области на 45,8%.
В медицинском кейсе дообучение снизило частоту ошибок в словах (WER) на отложенных дикторах на 45,8% относительно лучшего промпта.
- xpct
Недавно поигрался с Nemotron 3. Вроде норм, но ошибается каждые несколько предложений, по крайней мере на данных, с которыми я работал (стандартная лексика). Уверен, мы до этого дойдём, но я был приятно удивлён, что сам распознаю слова лучше, чем она.
- solarkraft
> Transcribe создан для записанного аудио, а не для потоковой передачи.
Досадно! Nemotron Streaming в Handy практически решил для меня проблему диктовки. Он отлично распознаёт немецкий с вкраплениями английских терминов и названий брендов.
- AkashKaStudio
Судя по карточке модели, она поддерживает транскрипцию только ближнего поля, экспериментально, но всё же это то, чего нет ни в одной другой OSS Speech LLM.