Die Systeme, die niemand testen wird

The systems that no one will test

2020 entdeckte Christian Perone eine Schwachstelle im brasilianischen Bundesverwaltungssystem, die Zugriff auf die Daten von über 200 Millionen Menschen ermöglichte. Er meldete sie telefonisch – die Behörde reagierte zunächst ungläubig, behob das Problem aber schnell. Heute, sechs Jahre später, fragt er sich: Wie viele ähnliche Umgebungen bauen Frontier-Labs mit Unterstützung von Cybersicherheitsfirmen? Und was passiert mit den vielen Regierungssystemen, die nie die Chance auf einen AI-Pentest bekommen werden?

Ich kann nicht anders, als mir vorzustellen, dass irgendwo eine sehr ähnliche Umgebung existiert, die reproduziert, was ich 2020 gefunden habe: fast dasselbe System, fast derselbe Fehler. Mehrere Agenten dringen tausendmal pro Sekunde ein und erzeugen Trajektorien, bis einer von ihnen den Fehler findet. Der Unterschied ist, dass, wenn dies zum Einsatz kommt, bei keinem der Versuche jemand den Hörer abnimmt.
  1. Modified3019

    Relevant:

    https://www.reddit.com/r/YouShouldKnow/comments/1wssf4u/ysk_...

    https://imgur.com/a/6FaQQhb (original post before being taken down by mods)

    >The Work Number is an Equifax (who famously had a massive data breach a few years back) owned database with employment and pay information.

    >You can create a login on theworknumber .com and pull your report. Mine is seventy four pages and had info from every company I've worked at in the last 13 years including every paycheck I had received with the exact dollar amount (both net and gross) and hours worked. It has employment start/end dates, termination reason, details about withholdings, benefit enrollment, union affiliation, etc etc etc.

    >This data is sourced directly from the HR platform your employees use (ADP, Rippling, Gusto, iSolved, etc). Equifax sells your data for things like employment background checks.

    >You cannot have your data removed from The Work Number. You can freeze your report (much like a credit report) but if a potential employer cannot access your frozen report that may disqualify you.

    >Why YSK: If you're interviewing for a job you can be at a significant disadvantage especially for things like salary negotiations because they can literally see how much you make including your most recent paycheck. Creditors also can access these reports.

    >This is the biggest privacy violation I have ever seen and almost nobody is even aware of it. Certainly none of us consented to having our employment and income data h […]

  2. areoform

    Die Erzählung rund um Sicherheit und LLMs ergibt für mich keinen Sinn.

    Ich denke, wir haben eine selbsterfüllende Prophezeiung geschaffen. Alle Beteiligten handeln in bester Absicht, aber indem sie das vermeiden, was sie fürchten, haben sie ihren Ängsten Gestalt verliehen und sie verwirklicht. Ganz ähnlich wie in einer griechischen Tragödie.

    Ein Beispiel dafür ist die Geschichte von Ödipus Rex: In der Geschichte wird Laios, dem König, gesagt, dass er "durch die Hand seines eigenen Sohnes sterben" wird (und seine Mutter heiraten wird). Und um diesem Schicksal zu entgehen, beschließt er, das Baby zu töten. Die Person, die damit beauftragt wird, ihn im Wald auszusetzen, hat Mitleid mit dem Baby und gibt es weg. Dadurch wird sichergestellt, dass Ödipus weder seine Mutter noch seinen Vater kennt (und ihm wird wohl auch ein Grund gegeben, seinen Vater zu töten).

    Das Kind wächst heran und hört dieselbe Prophezeiung erneut, und auch das Kind versucht, der Prophezeiung zu entgehen, weil es seine Adoptiveltern liebt. Also verlässt es sie und reist in das Königreich des Laios, wo es auf Laios trifft. Keiner erkennt den anderen. Da Laios der Typ Mann ist, der ein Baby töten würde, geraten sie in einen Streit, woraufhin Ödipus ihn tötet.

    Ich denke, die Alten wussten etwas, denn wenn Laios auf die Prophezeiung mit Mut reagiert hätte, wäre er gerettet worden. Ich möchte behaupten, dass, wenn er sich seiner Angst gestellt und Ödipus mit Liebe aufgezogen hätte, die notwendigen Voraussetzungen für die Erfüllung der Prophezeiung nicht hätten Wurzeln schlagen können. Aber das ist nicht, was passiert.

    Indem er sich von seinen Neurosen treiben lässt und aus Angst grausam handelt, macht Laios die Prophezeiung real.

    Um […]

  3. teiferer

    > Ich gebe ihnen ehrlich gesagt keine Schuld: [...] Software ist Software

    Diese Einstellung ist das Problem. Warum hat unsere Branche diese Einstellung zur Qualität? Jeder Fahrradladen in meiner kleinen Stadt ist besser in Sachen Qualität als der durchschnittliche Softwareladen auf der Welt. Ja, Software ist komplexer als ein Fahrrad. Aber ein Softwareentwickler wird auch 10x bezahlt und hat den Luxus, beträchtliche Zeit in sein Produkt zu investieren, verglichen mit den 10 Minuten, die der Fahrradtyp die Straße runter braucht, um ein Problem mit meinem Fahrrad zu diagnostizieren und dann zu beheben, woraufhin ich mein Leben anvertraue, sobald sie fertig sind und ich durch den Verkehr radle.

    Wir müssen Software anders behandeln. "Ach ja, ist halt Software, Schulterzucken" reicht nicht mehr aus, wenn es das überhaupt je getan hat.

  4. kitd

    Ich kann das Gefühl nicht loswerden, dass die ursprüngliche Schwachstelle absichtlich als Mechanismus für Strafverfolgungsbehörden (oder vielleicht kriminelle Organisationen) eingebaut wurde, um Ermittlungen zu "beschleunigen".

  5. madaxe_again

    Geht es nur mir so, dass ich ständig einen Rinnsal fremder privater Daten von Regierungsbehörden erhalte?

    Dieses Jahr hat mir das UK unter anderem die Gerichtsvorladung eines anderen, die Steuerunterlagen eines anderen geschickt (kein Adressfehler – nur versehentlich als Anhänge in E-Mails an mich eingefügt).

    Ich habe von Portugal Eigentumssteuerinformationen zu jedem beliebigen Subjekt durch ein einfaches Enumerationsloch offengelegt bekommen.

    Und letzte Woche hat mir Brasiliens Landwirtschaftsministerium Details zu Viehverschiffungen anderer Leute geschickt.

    Unsere Informationsumgebung ist unglaublich durchlässig. Es gäbe keine Geheimnisse vor einer entfesselten KI.

Mehr von diesem Tag

2026-09-29