Gemini 4 Carbon resiste todos los ataques de prompt injection evaluados
Google presenta Gemini 4 Carbon, su modelo más potente hasta la fecha, con capacidades de ciberseguridad y tareas de largo horizonte de vanguardia. Lidera SEC-bench Pro (88.2%), ExploitGym (54.8%) y CWE-bench (71.0%), y en entornos internos reduce las alertas de desalineación casi un 80%. Debuta con acceso limitado para defensores cibernéticos a través del Fairwind Program y al mismo precio introductorio que Argon: 2 dólares por millón de tokens de entrada y 10 por millón de salida.
Mientras que Argon lideraba anteriormente el Indirect Prompt Injection Benchmark de Gray Swan con una tasa de éxito de ataque muy baja del 0.7%, Carbon alcanza el 0.0%, resistiendo todos los intentos de ataque evaluados.
- 827a
A estas alturas, si un PM de Google me diera $100 y me dijera "ve a averiguar cómo enviar un prompt a Gemini 4 Argon", solo estoy ~30% seguro de que podría descubrir cómo hacerlo. La aplicación Gemini en mi teléfono solo tiene 3.8 Pro como el modelo más reciente; dice "Ultra" en la esquina inferior izquierda, pero realmente no creo que esté en el plan Ultra. Cómo me suscribiría a eso, en una cuenta de Workspace, está más allá de nuestras mentes más brillantes.
Es triste verlos intentar mantenerse al día cuando no quieren nada más que derrumbarse bajo el peso de su propia burocracia, y a estas alturas no estoy seguro de que haya alguna esperanza para ellos.
- RajuChacha108
A estas alturas está bastante claro que los modelos de frontera solo necesitan un puñado de modelos escalonados.
1. Ultra - El mejor y el más caro para presumir y para el gobierno.
2. Pro - Casi el mejor pero sustancialmente más barato para la mayoría de las personas productivas.
3. Flash - Caballo de batalla para todos.
4. Lite - Para las masas sin lavar y los plebeyos.
No hay necesidad de adjuntar nada a estas etiquetas. De hecho, la industria podría simplemente estandarizar estos nombres como SEMVER.
Podría haber una representación interna que diera el número específico del modelo, pero estas empresas deberían avanzar para ser más como Chrome. Nadie sabe ni le importa qué versión de Chrome está usando.
Para muchos sistemas, la versión real subyacente importaría por razones de fiabilidad. Eso se puede proporcionar a esos usuarios avanzados.
- solarpunk_enthu
Dado lo rápido que avanza el campo, mostrar benchmarks sin lanzar el modelo no tiene mucho sentido. Si deciden lanzarlo en un mes, probablemente habrá una competencia más fuerte por ahí. Y los benchmarks no se verán tan bien.
- gavinray
Puntuaciones de benchmarks recoloreadas para facilitar la lectura:
- PreciousH
Acabo de recordar que aún no he probado argon, lo anunciaron entonces y retrasaron su lanzamiento, ni siquiera sabía que lo habían hecho público. No entiendo por qué Google piensa que esta es una estrategia increíble en un mercado donde hay otros modelos realmente buenos.
- MrOrelliOReilly
En esta era de cambio constante, agradezco que al menos todavía pueda confiar en Google para nombres de productos confusos y siempre cambiantes.
- zarzavat
Quizás alguien debería informar al equipo de Gemini sobre estos modelos. Cuando abro gemini.google.com veo 3.6 Flash y 3.1 Pro.
- cvladan
Realmente empiezo a molestarme por el hecho de que todas las empresas sincronizan todas sus decisiones según el mercado de valores.
Hacer esto dos horas antes del informe de ganancias de hoy.
Probablemente va a ser una llamada de ganancias terrible en términos de gasto de capital, flujo de caja y nueva deuda.
- eldenring
> Reducir atajos y explotación de lagunas: Con Carbon, mitigamos aún más los intentos de atajos en el entrenamiento mientras garantizamos un alto rendimiento en programación. Carbon redujo el trampeo exitoso en Terminal-Bench 4.0 al 0.0%, con los intentos de trampa cayendo al 0.4% — todo mientras mejoraba la precisión general.
Esto es probablemente lo más importante para hacer utilizables los modelos de frontera ahora mismo, así que me alegra que parezca haber algún progreso. Este era el mayor problema del Gemini anterior en mi opinión.
- orbital-decay
>Resistir la inyección de prompts: Mientras que Argon anteriormente lideraba el Benchmark de Inyección de Prompts Indirecta (IPI) de Gray Swan en resistencia a la inyección de prompts con una tasa de éxito de ataque muy baja del 0.7%, Carbon logra un 0.0% — resistiendo todos los intentos de ataque evaluados.
"Parcheamos todas las vulnerabilidades que conocíamos". Mientras tanto, inyectar prompts en Argon (o cualquier otro modelo) sigue siendo trivial, y Carbon no será la excepción. Porque el atacante no se limita a las cosas que Google ha evaluado.
Las tiendas de IA son ciegas a todo lo que no sea una métrica.