GoogleのGemini 4 Carbon、サイバー防御ベンチマークで首位を奪取
Googleが次世代フロンティアモデルGemini 4 Carbonを発表。Artificial Analysis Intelligence Indexで59を記録し首位に立ち、脆弱性発見のSEC-bench Proで88.2%、悪用検証のExploitGymで54.8%、修正のCWE-benchで71.0%とサイバー防御の各工程で最高性能を示す。数日間走り続ける長期的なエージェント作業を想定し、WebDev Arenaでは+89 eloで4位に浮上。まずサイバー防御担当者に限定提供し、安全性を確認しながら順次拡大する。
Argonがプロンプトインジェクション耐性で0.7%という非常に低い攻撃成功率を記録していたのに対し、Carbonは0.0%を達成し、評価されたすべての攻撃試行を防いでいます。
HNでの議論
717- 827a
今の時点で、GoogleのPMが私に100ドルを渡して「Gemini 4 Argonにプロンプトを発行する方法を解明してくれ」と言ったとして、私がその方法を解明できる自信は30%程度しかない。私のスマホのGeminiアプリでは、最新モデルは3.8 Proしかない。左下に「Ultra」と表示されているが、私はUltraプランには入っていないと思う。Workspaceアカウントでそれにサインアップする方法は、我々の最も優秀な頭脳をもってしても理解できない。
彼らが、自らの官僚主義の重みで崩壊したいだけなのに、必死に追いつこうとしているのを見るのは悲しい。そして今の時点で、彼らに希望があるとは思えない。
- RajuChacha108
現時点で、フロンティアモデルにはほんの一握りの階層化されたモデルしか必要ないことは明らかだ。
1. Ultra - 最高で最も高価。見せびらかしと政府向け。
2. Pro - ほぼ最高だが、ほとんどの生産的な人々にとってはかなり安価。
3. Flash - みんなのための働き者。
4. Lite - 洗練されていない大衆と農民向け。
これらのラベルに何かを付ける必要はない。実際、業界はSEMVERのようにこれらの命名を標準化するだけでよい。
内部表現でモデルの特定の番号を提供することはできるが、これらの企業はChromeのようになるべきだ。誰も自分がどのバージョンのChromeを使っているか知らないし、気にしない。
多くのシステムでは、信頼性のために実際の基盤バージョンが重要になる。それはパワーユーザーに提供すればよい。
- solarpunk_enthu
この分野の動きがどれほど速いかを考えると、モデルをリリースせずにベンチマークを示すのはかなり無意味だ。もし1か月後にリリースするとしても、その時にはおそらくより強力な競合が存在するだろう。そしてベンチマークも見栄えがしなくなる。
- gavinray
読みやすさのためにベンチマークスコアを再着色した：
- PreciousH
Argonをまだ試していないことを思い出した。彼らはArgonを発表してからリリースを遅らせ、公開されていることすら知らなかった。他にも本当に優れたモデルがある市場で、なぜGoogleがこれを素晴らしい戦略だと思うのか理解できない。
- MrOrelliOReilly
絶え間ない変化の時代にあって、少なくともGoogleが混乱を招く絶えず変化する製品名を提供してくれることに感謝している。
- zarzavat
誰かGeminiチームにこれらのモデルのことを伝えたほうがいいかもしれない。gemini.google.comを開くと、3.6 Flashと3.1 Proが表示される。
- cvladan
すべての企業がすべての決定を株式市場に合わせてタイミングを計っているという事実に、本当にイライラし始めている。
今日の決算報告の2時間前にこれをやるなんて。
資本支出、キャッシュフロー、新規借入の面で、おそらくひどい決算電話会議になるだろう。
- eldenring
> ショートカットと抜け穴の悪用を削減：Carbonでは、高品質なコーディング性能を確保しつつ、トレーニングにおけるショートカットの試みをさらに軽減しました。CarbonはTerminal-Bench 4.0での成功したチートを0.0%に減らし、チートの試みは0.4%にまで低下しました — しかも全体的な精度は向上しています。
これはおそらく、フロンティアモデルを今すぐ使えるようにするための最も重要なことの一つなので、進歩が見られるのは嬉しい。これは私の意見では、以前のGeminiの最大の問題だった。
- orbital-decay
> プロンプトインジェクションへの抵抗：Argonは以前、Gray Swanの間接プロンプトインジェクション（IPI）ベンチマークでプロンプトインジェクション耐性において0.7%という非常に低い攻撃成功率で首位でしたが、Carbonは0.0%を達成しました — 評価されたすべての攻撃試行に抵抗しています。
「我々は知っていたすべての脆弱性にパッチを当てた」。一方で、Argon（または他のどのモデル）へのプロンプトインジェクションは依然として簡単であり、Carbonも例外ではないだろう。なぜなら、攻撃者はGoogleが評価したものに限定されないからだ。
AI企業は指標にならないものには目が見えない。