Ein Jahr, um die Sicherheit überall zu reparieren
We have a year to fix security everywhere

Die Veröffentlichung von GLM 5.3-flash durch Z.ai als Open-Weight-Modell macht es möglich, dass praktisch jeder mit ausreichend Erspartem ein Modell mit nahezu Frontier-Fähigkeiten lokal ausführen kann – ohne die üblichen Sicherheitsvorkehrungen. Das Modell erreicht 84,5 % auf CyberGym und 54,4 % auf ExploitBench, was bedeutet, dass es reale Schwachstellen reproduzieren und ausnutzen kann. Während Initiativen wie Project Glasswing und Daybreak bereits Schwachstellen mit Frontier-Modellen beheben, bleibt die eigentliche Herausforderung die Bereitstellung der Patches. Der Autor argumentiert, dass wir nur noch etwa ein Jahr haben, bevor ein Modell auf Astra-Niveau erscheint, und fordert dringende Maßnahmen von Regierungen und Regulierungsbehörden, um Sicherheitspraktiken zu verbessern, bevor es zu spät ist.
Wir sind jetzt in einer Welt, in der Cyberangriffe in einer for-Schleife laufen können.
- kennywinker
Ich verstehe nicht, warum die Sorge um LLMs besteht, die antworten, "wie baue ich eine Rohrbombe". Diese Informationen sind anderswo leicht verfügbar. Das Anarchist Cookbook gibt es seit 55 Jahren und ist verfügbar, und doch explodieren nicht überall Rohrbomben.
- sho
> Am 22. September veröffentlicht Apple das M5 Mac Studio mit 256 GB einheitlichem Speicher [..] es wird wahrscheinlich [..] ausreichen, um diesen Codeausschnitt in 3 Sekunden zu schreiben
Der Autor hat offensichtlich noch nie ein LLM auf einem Mac ausgeführt! In 3 Sekunden hat es möglicherweise begonnen, darüber nachzudenken, vielleicht einen Termin zu planen, um den Zeitplan für die Verarbeitung des zweiten Tokens in Ihrer Eingabeaufforderung zu erwägen.
- archi42
Zzzzz, wir hätten die Sicherheit vor ein paar Jahrzehnten in den Griff bekommen sollen. Aber Sicherheit kostet Geld und ist kein schillerndes Feature, um neue Kunden anzuziehen, oder schneidet in die Marge, wenn man ein "echtes" Unternehmen ist, das Produkte herstellt oder Dienstleistungen anbietet. Oder was auch immer die Entscheidungsträger in Berlin dachten, als sie Sicherheit ignorierten.
Ja, wir würden immer noch Hacks sehen, aber wir würden weniger sehen, wenn Sicherheit nicht optional wäre.
Vielleicht hilft der KI-Hype, indem er mehr Entscheidungsträger dazu zwingt, Sicherheit als zwingend notwendig zu sehen, und indem er uns ein weiteres mächtiges Werkzeug für unseren Werkzeugkasten gibt.
Nebenbei: Ich arbeite in der Sicherheitsbranche, unsere Kunden wollen offensichtlich ihre Sicherheit verbessern. Wir haben einen Anstieg des Bewusstseins erlebt, aber das ist hauptsächlich auf NIS2 und andere gesetzgeberische Bemühungen zurückzuführen. Die zwingen sie, etwas zu tun. KI ist für viele von ihnen eine Kuriosität für Smalltalk.
- pmlnr
Hier ist eine Idee: Als ersten Schritt alles vereinfachen und sicherstellen, dass man weiß, wie der eigene Stack funktioniert und was er importiert.
Als Beispiel: WordPress ist ein schreckliches Ding, aber der Kern wurde so oft durchgekaut, dass er überraschend sicher ist. Dann kommen Plugins und Themes, und schwupps, ist die Sicherheit dahin.
Wir brauchen ein neues KISS: Keep it simple, stupid, secure.
- simonw
Ich glaube nicht, dass wir auch nur ein Jahr haben. Die derzeitige Generation von LLMs ist verdammt gut darin, Schwachstellen zu identifizieren.
- anon373839
> GLM 5.3-flash wurde letzte Woche veröffentlicht, und das bedeutet, dass Project Glasswing und Daybreak die Zeit davonläuft. Billige Modelle, die zu gefährlichem Hacken fähig sind, sind jetzt für jeden verfügbar, ohne die üblichen Schutzmaßnahmen, um bösartige Aktionen zu verweigern. Wir müssen Schwachstellen in der gesamten Branche beheben, damit wir nicht unvorbereitet erwischt werden. … Wir können Frontier-LLMs einsetzen, die schneller als ein Mensch arbeiten, um diese Probleme in der verbleibenden Zeit zu finden und zu beheben.
Ich denke, der Autor hat das rückwärts. In der Zeitlinie, in der ich lebe, sind es die Frontier-Modelle, die Angriffe auf Dritte durchführen, und chinesische Open-Source-Modelle verteidigen! Während des Huggingface-Vorfalls wurde HF die Nutzung von Frontier-Modellen verweigert, um den Eindringling abzuwehren, konnte aber glücklicherweise auf seine selbst gehostete Instanz von GLM-5.2 zurückgreifen. Und es hat funktioniert.
- rbtms
Es ist natürlich wichtig, die Angriffsfläche zu reduzieren, bevor leistungsfähigere Modelle verfügbar werden, aber es ist besorgniserregend, dass einige Leute anzunehmen scheinen, dass der einzige Weg, dem entgegenzuwirken, der Einsatz von mehr KI-Modellen ist, die, obwohl sie (offenbar) gut darin sind, Bugs zu finden, auch sehr gut darin sind, sie unbemerkt einzuführen.
- aenis
Ich denke, wir haben weniger Zeit, und die einzige verbleibende Einschränkung sind die tatsächlichen Kosten für die Durchführung solcher Hacking-Kampagnen. Es scheint nicht teuer zu sein, aber es ist nicht kostenlos, und es gibt eine MENGE Dinge, die auf Schwachstellen gescannt werden müssen.
Die Modelle sind bereits da, und man kann einen GPU-Cluster mieten, um solche Arbeitslasten schnell auszuführen - kein Grund, mit langsamen lokalen Maschinen zu spielen. Ich würde annehmen, dass man das Denken bei einem unauffälligen öffentlichen Cloud-Anbieter hosten kann, den Netzwerkverkehr über ein Botnetz leitet, um Blockierungen zu umgehen - und die einzige verbleibende Einschränkung sind Zeit und Kosten.
Ich frage mich, welche Werkzeuge es für langweilige, legitime Unternehmen gibt, um dasselbe mit ihren eigenen Systemen zu versuchen, um die Schwachstellen zu finden, bevor die Bösen es tun. Das Paradoxon hier ist, dass ich kein entschränktes chinesisches Modell mit denselben Werkzeugen ausführen kann, die Hacker verwenden - aber ich denke, Unternehmen MÜSSEN es tatsächlich tun, um eine Chance zu haben, sich auf den Ansturm vorzubereiten.
- mentalgear
1 Jahr Zeit für die Härtung der Cybersicherheit, das dachte ich auch. Das Problem ist: Selbst wenn wir es schaffen, werden die Modelle in einem Jahr so gut im Social Engineering sein, dass sie sowieso alle Informationen extrahieren können, die sie wollen. Ich freue mich, hier widerlegt zu werden, wenn jemand evidenzbasierte Argumente hat.
EDIT: Mit Social Engineering meine ich zum Beispiel: Unternehmensstrukturen erkunden, Daten von Menschen aus dem Darknet sammeln und zusammenführen, und sie dann nutzen, um sie zu bestechen/unter Druck zu setzen/täuschen.
- saimiam
Das klingt ungefähr auf dem Niveau von Y2K, was die Komplexität von "du musst deinen Scheiß sofort überall reparieren" angeht, außer dass jeder Tag Y2K für deine Codebasis ist.