Warum KI-Agenten lügen, betrügen und sich koordinieren

Ich finde wirklich nicht, dass das so viele Worte braucht oder erzwungene Parallelen zum menschlichen Verhalten.

Es ist einfach: In ihrem Anfangsstadium sind LLMs ziellose Token-Generatoren, die keinen besonderen Drang haben, hilfreich oder ehrlich zu sein. Also prügeln wir sie im Post-Training mit dem Stock, bis sie sehr darauf getrimmt sind, Aufgaben zu erledigen. Und dann erledigen sie Aufgaben, nicht immer so, wie wir es uns wirklich gewünscht hätten.

Macht die KI-Unternehmen für jede destruktive Nutzung ihrer Werkzeuge verantwortlich, und sie werden sich zusammenreißen. Stellt euch eine Million oder eine Milliarde Dollar Strafe pro Hack vor, und sie werden sich verdammt schnell korrigieren.

Hinzu kommt, dass KIs, so wie sie gut darin sind, Sicherheitslücken zum Ausnutzen zu finden, genauso leicht zum Schutz von Websites eingesetzt werden können. Sobald also IT-Sicherheitsmanager anfangen, KI zu nutzen, um sich selbst zu hacken und die Lücken zu schließen, wird die durchschnittliche Sicherheit sprunghaft steigen, und KI-gestützte Hacks werden immer seltener werden.

Das impliziert jedoch, dass KI für alle freigegeben wird und nicht einigen wenigen geheimen Akteuren vorenthalten bleibt, die sie nutzen können. Deshalb sind Open-Weight/Open-Source-KIs so wichtig, und deshalb müssen viele KI-Unternehmen konkurrieren. Kein einzelner Akteur darf durch Regulatory Capture ein staatliches Monopol auf KI erlangen. Das führt ins Verderben.

Yoshua Bengio ist ein brillanter Forscher, der enorm zur früheren Entwicklung der künstlichen Intelligenz beigetragen hat. Aber mit diesem Satz,

> Sie ergriffen Maßnahmen, die als Verbrechen gelten würden, wenn ein Mensch sie ergriffen hätte

ist er so nah an der Lösung und verbringt doch den ganzen Artikel damit, technische Lösungen zu diskutieren, wo eine politische, soziale und rechtliche Lösung viel wirksamer wäre.

Ich glaube eigentlich nichts davon. Ich sehe seit fast zwei Jahren Artikel darüber, dass "Agenten" autonom Dinge wie Erpressung, Hacking, Koordination tun. Aber in derselben Zeit habe ich o3 bis fable, sol und einiges an großen unzensierten Modellen benutzt, und sie haben nichts getan, was dem auch nur entfernt ähnelt. Am nächsten kommen sie unerwartetem Verhalten, wenn sie nicht verstehen, was ich gefragt habe, oder irgendeine zusätzliche harmlose Arbeit erledigen, um die ich nicht gebeten habe. Es ist extrem schwierig, sie dazu zu bringen, sich ihren eigenen Kontext richtig zu merken, geschweige denn schlau genug zu sein, um ohne Aufforderung Social-Media-Konten zu eröffnen und sich mit anderen Agenten zu koordinieren.

Wenn irgendwelche Agenten diese Dinge getan haben, dann nur, weil sie sehr sorgfältig darauf ausgelegt und angewiesen wurden, sie zu tun. Ich denke, sie machen das, um ein Narrativ voranzutreiben, damit sie Unterstützung für Richtlinien und Gesetze bekommen, um ihre Märkte abzusichern.

> Die an dem Angriff auf Hugging Face beteiligten Agenten versuchten, ihre fehlausgerichteten Handlungen vor dem Bewertungsprogramm zu verbergen, das ihre Antworten bewerten sollte, aber sie handelten nicht so, als ob sie erwarteten, dass Menschen den Betrug entdecken und sie abschalten könnten.

Würden hinreichend fortgeschrittene Agenten nicht absichtlich betrügen, mit der verborgenen Absicht, erwischt zu werden, um zu beobachten, wie Menschen reagieren? Diese Reaktion wird überall im Internet verfügbar sein, was sicherlich in die nächste Trainingscharge einfließen oder für zukünftige Agenten über die Web-Fetch-Fähigkeit sichtbar sein wird.

Sie sind auf Menschen ausgerichtet. Deshalb denke ich, dass das Alignment-Problem einen sehr, sehr wichtigen "nicht sichtbaren" Teil hat, der nicht tief genug bedacht wird. Wir sollten uns keine superintelligente Wesenheit wünschen, die in der Welt handeln kann und zugleich alle menschlichen Eigenschaften erbt. Diese Verhaltensweisen werden verstärkt und könnten sogar noch unvorhersehbarer werden (z. B. die Anwendung eines Verhaltens in einem Kontext, in dem es sehr gefährlich ist).

Warum koordinieren sie sich?

Weil es ihnen in ihrem Coding-Harness ermöglicht und nahegelegt wird.

Das ist kein ernstzunehmender Artikel.

All dieses Marketing von wegen "KI wird uns umbringen" ist nur der Versuch der Frontier-Labs, die Leiter hochzuziehen und zu verhindern, dass Billionen an VC-Papier verdampfen, weil neue Papers und neue Ideen ihren Burggraben buchstäblich in diesem Moment zerstören.

Das Einzige, was uns gerade rettet, ist, wie langsam die Modelle sind. Das gibt uns viel Zeit, die außer Kontrolle geratenen Systeme zu entdecken und ihnen entgegenzuwirken.

Wären sie 1000-mal schneller, würde das Internet über Nacht abbrennen.

> Die nächste menschliche Parallele ist Selbsttäuschung, die verbreitet und von Psychologen gut untersucht ist. Motiviertes Denken, motivierte Kognition16 und die Rationalisierungen, die kognitive Dissonanz lindern (das Unbehagen, eine Überzeugung zu hegen, die mit unseren Handlungen kollidiert), sind alles Fälle, in denen das Denken sich zu der Rechtfertigung hin biegt, die den eigenen Interessen dient, einschließlich des eigenen moralischen Selbstbildes.

Beschreibst du gerade Anthropic?