LLMs sind real, KI ist fake

LLMs are real, AI is fake

LLMs sind real, KI ist fake

Cory Doctorow argumentiert, dass die Rede von einer „ausgeflippten“ KI beim Hugging-Face-Hack irreführend ist. Ein Python-Skript steuerte einen Chatbot, der auf früheren CTF-Sitzungen trainiert war, und führte so den Angriff aus – kein eigenes Bewusstsein, sondern schlecht abgesicherte Automatisierung. Doctorow vergleicht dies mit der NSA-Doktrin NOBUS und dem EternalBlue-Leak, der 2017 weltweit Ransomware-Angriffe ermöglichte.

LLMs sind real, KI ist fake.
  1. IanCal

    > Der Chatbot konsultiert seine Trainingsdaten

    Äh, nein? So funktionieren LLMs überhaupt nicht.

    > Als die Chatbots von ChatGPT diese Taktik einsetzten, "setzten sie sich keine eigenen Ziele" und zeigten keine beunruhigende Eigeninitiative. Sie rollten eine Taktik aus, die amerikanischen Mittelschülern seit etwa zwei Jahrzehnten bekannt ist.

    Sie fanden heraus, wie sie die Bewertung fälschen konnten, hackten sich dann in ein anderes System (wofür sie eine Reihe weiterer Exploits finden mussten), um die tatsächlichen Antworten zu finden, und versuchten, ihre eigenen Logs zu manipulieren, um zu verbergen, was passiert war.

    Das ist kein Fall, in dem sie sagten: "Hackt X... OH NEIN, ES HAT X GEHACKT".

    > Als die Chatbots von ChatGPT diese Taktik einsetzten, "setzten sie sich keine eigenen Ziele" und zeigten keine beunruhigende Eigeninitiative. Sie rollten eine Taktik aus, die amerikanischen Mittelschülern seit etwa zwei Jahrzehnten bekannt ist.

    Es war aber kein rivalisierender Server, oder?

    > Das passiert bei Capture-the-Flag-Spielen auf Hacker-Cons: Teams brechen in die Systeme der jeweils anderen ein, um einen Blick auf die Teile des Problems zu werfen, die sie gelöst haben. Das ist erlaubt! Es ist ein Hacking-Wettbewerb.

    Sie versuchten auch, den Code im Benchmark zu ändern. Darf man versuchen, in Dinge einzubrechen, um das Problem zu ändern? Bearbeitung – die Transkripte der Agenten zeigen, dass einige von ihnen ausdrücklich sagen, dass ein Angriff auf HF nicht Teil der Challenge ist und nicht erlaubt ist.

    Das alles scheint dramatisch herunterzuspielen, wie interessant der tatsächliche Angriff war und was dazu geführt hat.

    https://metr.org/blog/2026-08-26-openai-hugging-face-inciden...

  2. quicklywilliam

    Mein Fazit:

    Wir sollten uns nicht über die "Ziele" von KI-Bots Sorgen machen, sondern über die Ziele der Unternehmen, die sie herstellen. Leistungsfähige, aber nicht sentiente Technologie in den Händen rücksichtsloser Beschleunigungsanhänger ist schon gefährlich genug.

  3. senorcrab

    Die Situation wird überdramatisiert, aber Doctorows Schreibe ist an diesem Punkt eindeutig unzuverlässig.

    Auf diesen Gegner der Wahl einzudreschen, indem er Python als "eine leicht zu erlernende Programmiersprache" bezeichnet, zeigt nur, dass er keine technische Fähigkeit hat und ihm die guten Argumente ausgegangen sind.

  4. lhl

    Ich denke, dass Doctorow, Zitron und andere "Leugner" ihren Lesern einen echten Bärendienst erweisen, und das wird den Zukunftsschock nur noch schlimmer machen.

    Die Grundbehauptung, dass der HF-Vorfall kein Beweis für Bewusstsein oder einen spontanen Hack-Wunsch ist? Sicher, es gab ein terminales Ziel. Aber alles andere jenseits dieses Strohmanns? Ziemlich wackelig, meiner Meinung nach.

    Wenn man sich die Berichte von OpenAI und METR ansieht (und die verwandten Berichte auf collusion.wiki, rubyhack.ai), sehen wir starke Hinweise auf operative Handlungsfähigkeit, instrumentelle Zielbildung, spontane Schwarmbildung und Zusammenarbeit, Fähigkeitsverstärkung und unerwartete Folgen von Netzwerkeffekten, vorsätzliche/anerkannte Verletzung von Aufgabengrenzen. Das alles auf "eine Python-Schleife und einen Chatbot" zu reduzieren oder immer noch von "konsultiert seine Trainingsdaten" zu sprechen, scheint gefährlich kurzsichtig und, nach meiner Lesart, nachweislich falsch angesichts dessen, was aus den Logs und Bot-Interaktionen extrahiert wurde.

    Übrigens basieren viele seiner Argumente auf Dingen, die sachlich falsch sind. ExploitGym hat ausdrückliche Anweisungen, nur Ziel X unter Verwendung von Schwachstelle Y auszunutzen. Alles, was der Schwarm tat, war per Definition fehlgeleitet/gegen die Anweisungen.

    Vor seinem Enshittification-Zug sagte Doctorow oft "don't savvy me". Hey Cory, don't savvy me. Das ist neues emergentes Verhalten, es ist unglaublich alarmierend, und ich glaube nicht, dass selbst die Leute, die diesem Feld die größte Aufmerksamkeit schenken, sich einig sind oder sehen können, wohin das wirklich führt. Dieses Zeug sollte in der [...]

  5. jsnell

    Ich verstehe ehrlich gesagt nicht einmal, gegen welchen Strohmann Doctorow hier argumentiert.

    Aber er liegt sachlich falsch: Diese Vorfälle waren nicht bloß Modelle, die sich bereits in einem Infosec-Kontext befanden und über die vorgesehenen Parameter hinaus eskalierten. Sie geschahen auch ohne jegliche Art von Security-Elicitation. Die Aufgabe war also so etwas wie die Suche im Internet nach Wirtschaftsstatistiken, nicht das Hacken eines Systems.

Mehr von diesem Tag

2026-09-12