NVIDIAのNemotron 3.5 Transcribe、オープンモデルでASRリーダーボード首位に
Nvidia Nemotron 3.5 Transcribe: open ASR for 40 languages
NVIDIAがオープンウェイトの音声認識モデルNemotron 3.5 Transcribeを公開した。文字起こし・話者識別・翻訳・音声Q&Aを1つのチェックポイントに統合し、40言語の文字起こし、31言語の英語との相互翻訳、13言語の話者識別に対応する。Hugging FaceのOpen ASR Leaderboardでは英語でオープンウェイトモデル首位の平均WER 5.33%を記録。約4BのアクティブパラメータでArtificial Analysisの精度対パラメータのフロンティアに位置し、話者識別でも複数のベンチマークで首位に立つ。学習データ生成パイプラインGranary v2とファインチューニング手順も公開された。
医療のケーススタディでは、ファインチューニングにより、未見の話者における単語誤り率（WER）が最良のプロンプトと比べて45.8%削減された。
HNでの議論
18- xpct
最近Nemotron 3をいじってみた。悪くはないけど、少なくとも私が扱ったデータ（標準的な語彙）では、数文ごとにエラーを起こす。きっとそのうち改善されるだろうけど、自分がモデルよりもうまく単語を認識できることにちょっと驚いた。
- solarkraft
> Transcribeは録音済み音声向けで、ライブストリーミング用ではない。
ちょっと残念！HandyのNemotron Streamingは、私のディクテーションをほぼ解決してくれた。ドイツ語に英語の用語やブランド名が混ざったものも、本当によく認識する。
- AkashKaStudio
モデルカードによると、これは近接場の話者のみの文字起こしをサポートしている。実験的ではあるが、他のOSS Speech LLMにはない機能だ。