Ein Jahr, um die Sicherheit überall zu reparieren
We have a year to fix security everywhere
Die Veröffentlichung von GLM 5.3-flash durch Z.ai als Open-Weight-Modell macht es möglich, dass praktisch jeder mit ausreichend Erspartem ein Modell mit nahezu Frontier-Fähigkeiten lokal ausführen kann – ohne die üblichen Sicherheitsvorkehrungen. Das Modell erreicht 84,5 % auf CyberGym und 54,4 % auf ExploitBench, was bedeutet, dass es reale Schwachstellen reproduzieren und ausnutzen kann. Während Initiativen wie Project Glasswing und Daybreak bereits Schwachstellen mit Frontier-Modellen beheben, bleibt die eigentliche Herausforderung die Bereitstellung der Patches. Der Autor argumentiert, dass wir nur noch etwa ein Jahr haben, bevor ein Modell auf Astra-Niveau erscheint, und fordert dringende Maßnahmen von Regierungen und Regulierungsbehörden, um Sicherheitspraktiken zu verbessern, bevor es zu spät ist.
Wir sind jetzt in einer Welt, in der Cyberangriffe in einer for-Schleife laufen können.
- kennywinker
Ich verstehe nicht, warum die Sorge um LLMs besteht, die antworten, "wie baue ich eine Rohrbombe". Diese Informationen sind anderswo leicht verfügbar. Das Anarchist Cookbook gibt es seit 55 Jahren und ist verfügbar, und doch explodieren nicht überall Rohrbomben.
- sho
> Am 22. September veröffentlicht Apple das M5 Mac Studio mit 256 GB einheitlichem Speicher [..] es wird wahrscheinlich [..] ausreichen, um diesen Codeausschnitt in 3 Sekunden zu schreiben
Der Autor hat offensichtlich noch nie ein LLM auf einem Mac ausgeführt! In 3 Sekunden hat es möglicherweise begonnen, darüber nachzudenken, vielleicht einen Termin zu planen, um den Zeitplan für die Verarbeitung des zweiten Tokens in Ihrer Eingabeaufforderung zu erwägen.
- archi42
Zzzzz, wir hätten die Sicherheit schon vor Jahrzehnten in den Griff bekommen sollen. Aber Sicherheit kostet Geld und ist kein auffälliges Feature, um neue Kunden anzuziehen, oder schneidet in die Marge, wenn man ein "echtes" Unternehmen ist, das Produkte herstellt oder Dienstleistungen anbietet. Oder was auch immer die Entscheidungsträger in Berlin dachten, als sie Sicherheit ignorierten.
Ja, wir hätten immer noch Hacks gesehen, aber wir würden weniger sehen, wenn Sicherheit nicht optional wäre.
Vielleicht hilft der KI-Hype, indem er mehr Entscheidungsträger dazu zwingt, Sicherheit als zwingend notwendig zu sehen, und indem er uns ein weiteres mächtiges Werkzeug für unseren Werkzeugkasten gibt.
Anmerkung: Ich arbeite in der Sicherheitsbranche, unsere Kunden wollen offensichtlich ihre Sicherheit verbessern. Wir sehen einen Anstieg des Bewusstseins, aber das ist hauptsächlich auf NIS2 und andere gesetzgeberische Bemühungen zurückzuführen. Die zwingen sie, etwas zu tun. KI ist für viele von ihnen eine Kuriosität für Smalltalk.
- pmlnr
Hier ist eine Idee: Vereinfacht als ersten Schritt alles, und stellt sicher, dass ihr wisst, wie euer Stack funktioniert und was er importiert.
Als Beispiel: WordPress ist ein schreckliches Ding, aber der Kern wurde so oft durchgekaut, dass er überraschend sicher ist. Dann kommen Plugins und Themes, und schwupps, ist die Sicherheit dahin.
Wir brauchen ein neues KISS: keep it simple, stupid, secure.
- simonw
Ich glaube nicht, dass wir auch nur ein Jahr haben. Die derzeitige Generation von LLMs ist verdammt gut darin, Schwachstellen zu identifizieren.
- aenis
Ich denke, wir haben weniger Zeit und die einzige verbleibende Einschränkung sind die tatsächlichen Kosten für die Durchführung solcher Hacking-Kampagnen. Es scheint nicht teuer zu sein, ist aber nicht kostenlos, und es gibt eine MENGE Dinge, die auf Schwachstellen gescannt werden müssen.
Die Modelle sind bereits da, und man kann einen GPU-Cluster mieten, um solche Arbeitslasten schnell auszuführen - kein Grund, mit langsamen lokalen Maschinen zu spielen. Ich würde annehmen, dass man das Denken bei einem unauffälligen öffentlichen Cloud-Anbieter hosten kann, den Netzwerkverkehr über ein Botnetz proxyen kann, um Sperren zu umgehen - und die einzige verbleibende Sache sind Zeit und Kosten.
Ich frage mich, welche Werkzeuge es für langweilige, legitime Unternehmen gibt, um dasselbe mit ihren eigenen Systemen zu versuchen, um die Schwachstellen zu finden, bevor die Bösen es tun. Das Paradoxon hier ist, dass ich kein entschränktes chinesisches Modell mit denselben Werkzeugen ausführen kann, die Hacker verwenden - aber ich denke, Unternehmen MÜSSEN es tatsächlich tun, um eine Chance zu haben, sich auf den Ansturm vorzubereiten.
- hypfer
> Das klingt für die meisten Menschen wahrscheinlich nach Unsinn oder hysterischer Übertreibung, also hier ist, was das bedeutet: "GLM" ist eine Art LLM (KI) [...]
Der Beitrag klingt auch für Leute, die die Technologie verstehen, so.
Das so zu nennen und zu versuchen, diese Einschätzung auf mangelndes Wissen zurückzuführen, ist weder eine Freikarte noch ein guter Schachzug.
__
Bearbeitung: Nachdem ich etwas Zeit damit verbracht habe, den Artikel in meinem Kopf wirken zu lassen.
Auf der Verteidigungsseite steht geschrieben, dass
> LLMs gut darin sind, Patches zu schreiben, aber nicht als einmalige Prompts.
Aber das kollidiert für mich irgendwie mit dem, was auf der Angriffsseite steht:
> GLM 5.3-flash ist so gut bei diesen Aufgaben, dass menschliche Beteiligung an diesen Aufgaben vernachlässigbar sein kann. Infolgedessen sind wir jetzt in einer Welt, in der Cyberangriffe in einer for-Schleife ausgeführt werden können.
Was ist es nun? Kann es diese autonome, furchterregende Entität sein oder nicht?
Ja, ja, Angreifer müssen nur einmal gewinnen, während Verteidiger jedes Mal gewinnen müssen, aber das ist nicht mein Punkt.
- mentalgear
Ein Jahr Zeit für die Härtung der Cybersicherheit, das dachte ich auch. Das Problem ist, selbst wenn wir es schaffen: In einem Jahr werden die Modelle so gut im Social Engineering sein, dass sie sowieso alle Informationen extrahieren können, die sie wollen. Ich freue mich, hier widerlegt zu werden, wenn jemand evidenzbasierte Argumente hat.
EDIT: Mit Social Engineering meine ich zum Beispiel: Unternehmensstrukturen erkunden, Daten von Menschen aus dem Darknet sammeln und zusammenführen, und sie dann nutzen, um Benutzer zu bestechen/unter Druck zu setzen/täuschen.