Gemini 4 Carbon übernimmt die Spitze bei Cybersecurity und langfristigen Agenten-Aufgaben
Google stellt Gemini 4 Carbon vor, sein bisher stärkstes Modell. Es führt die aktualisierte Artificial Analysis Intelligence Index mit 59 Punkten an und erzielt Spitzenwerte bei SEC-bench Pro (88,2 %), ExploitGym (54,8 %) und CWE-bench (71,0 %). Intern läuft Carbon tagelang durch komplexe Engineering-Aufgaben, reduziert Fehlverhalten im Coding deutlich und senkt erfolgreiche Prompt-Injection-Angriffe auf 0,0 %. Zunächst erhalten Cyber-Defender Zugang, später folgen Entwickler und Verbraucher.
Während Argon zuvor mit einer sehr niedrigen Erfolgsrate von 0,7 % bei Angriffen den Gray Swan’s Indirect Prompt Injection (IPI) Benchmark anführte, erreicht Carbon 0,0 % – und widersteht jedem bewerteten Angriffsversuch.
- 827a
An diesem Punkt, wenn ein Google-PM mir 100 Dollar in die Hand drücken und sagen würde: „Finde heraus, wie man einen Prompt an Gemini 4 Argon ausgibt“, bin ich mir nur zu etwa 30 % sicher, dass ich das hinbekommen würde. Die Gemini-App auf meinem Handy hat nur 3.8 Pro als neuestes Modell; unten links steht zwar „Ultra“, aber ich glaube wirklich nicht, dass ich im Ultra-Tarif bin. Wie ich mich dafür mit einem Workspace-Konto anmelden würde, übersteigt unsere hellsten Köpfe.
Es ist traurig anzusehen, wie sie versuchen mitzuhalten, obwohl sie sich nichts mehr wünschen, als unter der Last ihrer eigenen Bürokratie zusammenzubrechen, und an diesem Punkt bin ich mir nicht sicher, ob es für sie noch Hoffnung gibt.
- RajuChacha108
Es ist mittlerweile ziemlich klar, dass die Frontier-Modelle nur eine Handvoll abgestufter Modelle brauchen.
1. Ultra – Das beste und teuerste, zum Angeben und für den Staat.
2. Pro – Fast das beste, aber deutlich günstiger für die meisten produktiven Leute.
3. Flash – Das Arbeitstier für alle.
4. Lite – Für das ungewaschene Volk und die Bauern.
Es gibt keinen Grund, diesen Bezeichnungen irgendetwas anzuhängen. Tatsächlich könnte die Branche diese Namen einfach standardisieren, wie SEMVER.
Es könnte eine interne Repräsentation geben, die die spezifische Nummer des Modells liefert, aber diese Firmen sollten sich eher in Richtung Chrome bewegen. Niemand weiß oder kümmert sich darum, welche Version von Chrome er benutzt.
Für viele Systeme wäre die tatsächliche zugrundeliegende Version wegen der Zuverlässigkeit wichtig. Das kann man den Power-Usern zur Verfügung stellen.
- solarpunk_enthu
Angesichts der Geschwindigkeit, mit der sich das Feld bewegt, sind Benchmarks ohne Veröffentlichung des Modells ziemlich bedeutungslos. Wenn sie sich entscheiden, es in einem Monat zu veröffentlichen, gibt es wahrscheinlich stärkere Konkurrenz da draußen. Und die Benchmarks werden nicht mehr so gut aussehen.
- gavinray
Benchmark-Ergebnisse zur besseren Lesbarkeit neu eingefärbt:
- PreciousH
Mir ist gerade eingefallen, dass ich Argon noch nicht ausprobiert habe. Sie haben Argon angekündigt und dann die Veröffentlichung verzögert; ich wusste nicht einmal, dass sie es öffentlich zugänglich gemacht haben. Ich verstehe nicht, warum Google denkt, das sei eine großartige Strategie in einem Markt, in dem es andere wirklich gute Modelle gibt.
- MrOrelliOReilly
In diesem Zeitalter des ständigen Wandels bin ich dankbar, dass ich mich wenigstens noch auf Google verlassen kann, wenn es um verwirrende, sich ständig ändernde Produktnamen geht.
- zarzavat
Vielleicht sollte jemand dem Gemini-Team von diesen Modellen erzählen. Wenn ich gemini.google.com öffne, sehe ich 3.6 Flash und 3.1 Pro.
- cvladan
Ich fange wirklich an, mich darüber zu ärgern, dass alle Unternehmen ihre Entscheidungen nach dem Aktienmarkt timen.
Das zwei Stunden vor dem heutigen Earnings-Report zu machen.
Das wird wahrscheinlich ein schrecklicher Earnings-Call in Bezug auf Capex, Cashflow und neue Kreditaufnahmen.
- eldenring
> Reduzierung von Abkürzungen und Ausnutzung von Schlupflöchern: Mit Carbon haben wir Abkürzungsversuche im Training weiter abgemildert und gleichzeitig eine hochwertige Coding-Performance sichergestellt. Carbon reduzierte erfolgreiches Schummeln bei Terminal-Bench 4.0 auf 0,0 %, wobei die Schummelversuche auf 0,4 % sanken – und das bei gleichzeitiger Verbesserung der Gesamtgenauigkeit.
Das ist wohl das Einzige, was gerade am wichtigsten ist, um Frontier-Modelle nutzbar zu machen, also freue ich mich, dass es hier Fortschritte zu geben scheint. Das war meiner Meinung nach das größte Problem des vorherigen Gemini.
- orbital-decay
> Widerstand gegen Prompt-Injection: Während Argon zuvor den Indirect Prompt Injection (IPI) Benchmark von Gray Swan bei der Widerstandsfähigkeit gegen Prompt-Injection mit einer sehr niedrigen Erfolgsrate von 0,7 % anführte, erreicht Carbon 0,0 % – und widersteht jedem bewerteten Angriffsversuch.
„Wir haben jede Schwachstelle gepatcht, die wir kannten.“ In der Zwischenzeit ist Prompt-Injection bei Argon (oder jedem anderen Modell) immer noch trivial, und Carbon wird keine Ausnahme sein. Denn der Angreifer ist nicht auf das beschränkt, was Google bewertet hat.
KI-Firmen sind blind für alles, was keine Metrik ist.