Gemini 3.5 Transcribe、ノイズ混じりの音声を高精度で文字起こしする新モデルを公開
Gemini-3.5-Transcribe
Google が発表した Gemini 3.5 Transcribe は、従来の音声認識モデルと異なり、背景ノイズや専門用語、言い間違いなどを処理し、生の音声を正確で整ったテキストに直接変換します。ストリーミング API と録音済み音声用 API の2種類を提供し、サブ秒レベルのレイテンシー、85以上の言語対応、最大3話者の識別、カスタム語彙の認識などの機能を備えます。Word Error Rate はストリーミングで4.0%、非ストリーミングで2.6%を達成し、前モデル Chirp 3 と比較して最終文字起こしまでの時間が70%改善しました。
従来の音声認識モデルが背景ノイズ、複雑な専門用語、言い間違いの処理に苦労するのに対し、Gemini 3.5 Transcribe は生の音声を直接、正確で洗練された整形済みテキストに変換します。
HNでの議論
122- Lucasoato
私は、自社のミーティングにおけるドイツ語、イタリア語、英語の音声を使ったベンチマークで、少なくとも20のSTTモデルをテストしました。
音声には非常に業界特有の単語が含まれており、言語は文ごとに変わり、ある言語での議論中に別の言語の単語が言及されることもありました。
私が満足している唯一のローカルモデルはVoxtral Mini 3bで、わずかに優れている唯一の有料APIはeleven labsです。はい、Voxtralはベンチマークで最高スコアに達しないかもしれませんが、私にとっては、それは単に問題を解決してくれるのです。速度の点では最良ではないかもしれません...しかし、それは私にとっては問題ではありません。
Googleのこの新しいモデルをテストするのは嬉しいですが、自分のマシンで簡単に実行できるものの代わりにこれを使うかどうかは確信が持てません。
- Crystalin
Pixel 11 Proでテストしていますが、ほとんど気に入っていません。長いことを前もって考えずに言いたいときには便利です。
しかし、主な問題は、特定の言い回しで正確に言いたいときに、それを「簡略化」して意味を壊してしまうことがあることです。
「I hesitated to check it, I should have verified」のようなもの => 「I should have verified」（「I hesitated...」の部分は削除されますが、私は以前から考えていたことを相手に伝えたかったので言ったのです）
この文を数回試しましたが、常に最初の部分が削除されました。
- ameliaquining
「関数呼び出し: このモデルは、関数呼び出しを介して複雑なタスク（画像生成やファイル分析など）を他のGeminiモデルに委任できます。現在、Gemini macOSアプリで利用可能です。」
これは私を大いに混乱させました。なぜなら、STTモデルが任意のタスクを実行するために関数呼び出しを行えるかのように聞こえるからです。それは意味を成しません。開発者向けドキュメント（https://ai.google.dev/gemini-api/docs/models/gemini-3.5-tran...）は、Gemini 3.5 Transcribeモデルが実際には関数呼び出しを行えないことを確認しています。おそらく、ブログ投稿は、消費者向けアシスタント/チャットボットアプリがGemini 3.5 Transcribeを介して音声入力を受け取り、必要に応じて他のものを呼び出せることを説明するために、非常に紛らわしい表現を使っているだけなのでしょう。あるいは、その箇条書きは別のモデルの発表用だったのに、誰かが編集ミスをしたのかもしれません。
- lnalx
私はリアルタイム翻訳アプリ（https://fliptalk.ai）のために、すべてのSTTモデルを個人的にテストしました。言語検出と騒がしい環境での精度から、最も重要なポイントであるレイテンシーまで。
現時点では、Soniox STT v5が間違いなく最良であり、その性能に感銘を受けています。GoogleがGemini-3.5-Transcribeをリリースしたのは良いことで、精度では他のすべてのモデルを上回っていますが、STTアプリにとって最も重要な要素であるレイテンシーについては、もう少し改善が必要です。
- zhivota
お金を払ってトークンをもらう方法がわかれば、Gemini APIをもっと使うでしょう。彼らのティア制度は、競合他社と比べて非常識なハードルの高さです。
- dayone1
これはAPIユーザーではなく、Geminiサブスクライバーでも利用可能かどうか知っている人はいますか？agy CLIでこのモデルを直接呼び出せますか？
- blissofbeing
私はPixel 9でWispr Flowを使っていますが、気に入っています。Ramblerができるとされていることを実現してくれますが、Ramblerは現在Pixel 11でのみ利用可能なのに対し、こちらは私のPixel 9で利用できます。
- fy20
これが修正できるかどうか知っている人はいますか... Androidでは、Google AssistantがGeminiに置き換えられています。しかし、Geminiは実際にはアシスタントタスクを何も実行できないようです。
曲を再生するように頼むと、Spotifyを起動する代わりに、曲を再生できるURLのリストを表示するだけです。アラームも同様です。何かに誤ってオプトインしなかったのでしょうか？