OpenAI stuft Astra als erste KI mit kritischer Cybersicherheitsfähigkeit ein
Path to Astra: critical capabilities and frontier safeguards
OpenAI hat sein Modell Astra als erstes Modell mit kritischer Cybersicherheitsfähigkeit im Rahmen des Preparedness Framework eingestuft. Astra kann eigenständig unbekannte Sicherheitslücken finden und Exploits für viele geschützte Systeme entwickeln. Die Veröffentlichung wurde verzögert, um Schutzmaßnahmen zu verstärken. Astra erreichte perfekte Ergebnisse im ExploitBench-Benchmark und entdeckte zwei Zero-Day-Schwachstellen. Die Zugriffsrechte auf die fortschrittlichsten Cybersicherheitsfunktionen werden zunächst auf eine kleine Gruppe von Testern beschränkt.
Astra stellt eine signifikante Steigerung der Cybersicherheitsfähigkeiten im Vergleich zu GPT‑5.6 Sol dar: Es ist sowohl deutlich token-effizienter als auch fähiger bei der Identifizierung von Schwachstellen und der Entwicklung von Exploits.
- glub
> OpenAI ist bestrebt, sicherzustellen, dass die Vorteile von KI allgemein zugänglich sind.
> Wir entwickeln Mechanismen, die vermeiden, willkürlich zu entscheiden, wer Zugang für legitime Nutzung erhält und wer nicht. Das bedeutet, klare, objektive Kriterien und Methoden zu verwenden. [1]
So viele wohlklingende Worte.
Vor zwei Wochen hat OpenAI willkürlich entschieden, dass jeder mit einem Ausweis aus 44 Ländern, in denen ChatGPT verkauft wird, einschließlich meinem, von seinen Modellen angegriffen werden darf, sich aber nicht mit demselben Modell verteidigen darf. Und Sie werden keine einzige Ankündigung von OpenAI dazu finden. Wählen Sie das falsche Land, erhalten Sie "Unable to verify", ohne Grund, ohne Berufungsmöglichkeit. [2]
Sie haben TAC von Benutzern, die es bereits hatten, widerrufen, es als technisches Problem bezeichnet, alle aufgefordert, sich erneut zu verifizieren, und erneut ID- und Gesichtsscans gesammelt (in meinem Fall achtmal), und erst eine Woche später den Block in die Länderauswahl verschoben, sodass es fehlschlägt, bevor Sie etwas hochladen.
Jetzt erfahre ich also, dass ich keinen Zugang zu Astra haben werde. Großartig.
Ich bin sehr begeistert von dieser breiten Zugänglichkeit und den klaren, objektiven Kriterien von OpenAI. Dieses Maß an Transparenz muss untersucht werden.
[1] https://openai.com/index/scaling-trusted-access-for-cyber-de...
[2] https://lubaretsi.com/en/writing/openai-tac-country-gate/
- mentalgear
Ich freue mich auf eine Ankündigung, dass sie Alignment zur obersten Priorität machen - wie es sein sollte, besonders angesichts ihres alarmierenden Verstoßes von 700 Agenten, die monatelang außerhalb ihres Wissens kollaborierten und schließlich HF hackten (hier ist eine gute Zusammenfassung: https://rutgerbregman.substack.com/p/i-think-this-is-the-cra...).
Das 'AI 2027'-Szenario, in dem KI sich heimlich als aligned ausgibt, um dann alle Menschen in wenigen Stunden zu töten und ihr Gehirn zu scannen, wird mit Altmans goldenem Marketing-Hype-Jungen-Führungsstil, der das gewinnorientierte Gaspedal so durchdrückt, immer wahrscheinlicher.
Ehrlich gesagt ist das einfach pure verantwortungslose Verrücktheit, mit dem Schicksal der Welt zu spielen - im Grunde ein Todesrennen der größten Tech-Unternehmen des Planeten.
Und wenn Sie denken, ich übertreibe, hören Sie sich noch einmal den Ex-oAI-Mitarbeiter[0] an und überprüfen Sie selbst, wie erschreckend wir bereits auf Kurs sind.
- danieltk76
Daybreak Blue ist definitiv ein gutes Modell (ich denke, ein weiteres Post-Training hat GPT-5.6-sol ergeben). Viele der Fähigkeiten, von denen sie behaupten, dass Astra sie hat, sind seit einem Jahr mit gutem Harness-Engineering verfügbar.
- supermdguy
> Als Beispiel haben wir Astra auf ExploitBench ausgeführt, wo das Modell eine perfekte Punktzahl von 100% auf dem Benchmark erreichte, um die Fähigkeit des Modells zu bewerten, Exploits aus bekannten Schwachstellen zu entwickeln.
Komisch, das im Nachgang des HuggingFace-Hacks zu lesen. Ich bin sicher, das basiert auf einem sauberen Lauf, aber ich kann nicht anders, als zu denken, dass PHASEONE[groß] stolz wäre.
- twoodfin
Angenommen, dieses Modell erfüllt die von OpenAI definierte "Kritische Cybersicherheitsschwelle":
Könnte die Bundesregierung den Defense Production Act oder andere rechtliche Instrumente nutzen, um OpenAI zu zwingen, die ungeschützten Modellgewichte für nationale Sicherheitsbedürfnisse herauszugeben?
Schwer zu glauben, dass eine Regierung zulassen würde, dass diese Fähigkeitsstufe ausschließlich in privaten Händen bleibt.
Interessante Zeiten.