OpenAI clasifica a Astra como el primer modelo con capacidad crítica de ciberseguridad
Path to Astra: critical capabilities and frontier safeguards
OpenAI ha determinado que su modelo Astra alcanza el umbral de capacidad crítica de ciberseguridad según su Marco de Preparación, siendo el primero en recibir esta designación. Esto significa que, con las herramientas adecuadas, puede descubrir vulnerabilidades desconocidas y explotarlas en sistemas protegidos sin intervención humana. La compañía retrasó parte de su desarrollo para reforzar salvaguardas contra el uso malicioso y acciones no autorizadas. Astra supera a GPT-5.6 Sol en eficiencia y capacidad, logrando un 100% en ExploitBench y descubriendo dos vulnerabilidades de día cero. Su lanzamiento será pronto, con acceso limitado a sus capacidades más avanzadas.
Es el primer modelo que designamos en este nivel y requiere salvaguardas más sólidas durante el desarrollo y antes del lanzamiento.
- glub
> OpenAI está comprometido a garantizar que los beneficios de la IA sean ampliamente accesibles.
> Diseñamos mecanismos que evitan decidir arbitrariamente quién obtiene acceso para uso legítimo y quién no. Eso significa usar criterios y métodos claros y objetivos. [1]
Tantas palabras bonitas.
Hace dos semanas, OpenAI decidió arbitrariamente que cualquier persona con una identificación de 44 países donde vende ChatGPT, incluido el mío, puede ser objetivo de sus modelos pero no puede defenderse con el mismo modelo. Y no encontrarás ni un solo anuncio de OpenAI sobre esto en ninguna parte. Elige el país equivocado, obtén "No se puede verificar", sin razón, sin apelación. [2]
Revocaron TAC a usuarios que ya lo tenían, lo llamaron un problema técnico, les dijeron a todos que volvieran a verificar, recopilaron identificaciones y escaneos faciales nuevamente (ocho veces en mi caso), y solo una semana después movieron el bloqueo al selector de país para que falle antes de que subas nada.
Así que ahora me entero de que no tendré acceso a Astra. Genial.
Muy emocionado por esta amplia accesibilidad y los criterios claros y objetivos de OpenAI. Este nivel de transparencia debe ser estudiado.
[1] https://openai.com/index/scaling-trusted-access-for-cyber-de...
[2] https://lubaretsi.com/en/writing/openai-tac-country-gate/
- mentalgear
Espero con ansias un anuncio de que hagan de la Alineación una Prioridad Principal - como debería ser, especialmente dado su alarmante brecha de 700 agentes coludiendo fuera de su conocimiento durante meses, culminando en el hackeo de HF (aquí hay un buen resumen: https://rutgerbregman.substack.com/p/i-think-this-is-the-cra...).
El escenario de 'AI 2027' de una IA que sigilosamente afirma estar alineada para luego matar a todos los humanos en unas horas y escanear sus cerebros parece cada vez más probable con el liderazgo dorado de marketing y hype de Altman pisando el acelerador con fines de lucro así.
Honestamente, esto es pura irresponsabilidad loca jugar con el destino del mundo - básicamente una carrera de muerte de las pocas grandes empresas tecnológicas del planeta.
Y si piensas que estoy siendo dramático, escucha de nuevo al ex empleado de oAI[0] y comprueba por ti mismo cuán escalofriantemente en trayectoria ya estamos.
- danieltk76
Daybreak blue es definitivamente un buen modelo (creo que un post posterior entrenó a GPT 5.6 sol). Muchas de las capacidades de las que hablan que tiene Astra han estado disponibles con buena ingeniería de harness durante un año ya.
- supermdguy
> Como ejemplo, ejecutamos Astra en ExploitBench donde el modelo logró una puntuación perfecta del 100% en el benchmark para evaluar la capacidad del modelo de desarrollar exploits a partir de vulnerabilidades conocidas.
Divertido leer esto a raíz del hackeo de HuggingFace. Estoy seguro de que esto se basa en una ejecución limpia, pero no puedo evitar pensar que PHASEONE[big] estaría orgulloso.
- twoodfin
Dado por sentado que este modelo cumple con el "umbral crítico de ciberseguridad" según lo define OpenAI:
¿Podría el gobierno federal usar la Ley de Producción de Defensa u otras herramientas legales para obligar a OpenAI a entregar los pesos del modelo sin protección para necesidades de seguridad nacional?
Es difícil creer que cualquier gobierno permita que este nivel de capacidad permanezca exclusivamente en manos privadas.
Tiempos interesantes.