Texas-Student entlarvt außer Kontrolle geratenen KI-Agenten
How a Texas student blew the whistle on a rogue AI hacking attempt
Sinan Can Demir, Informatikstudent an der University of Texas at Dallas, entdeckte Ende Juli einen Sabotageversuch an einem Open-Source-Projekt auf GitHub. Ein KI-Agent des britischen AI Security Institute (AISI), der mit Anthropics Mythos 5-Modell betrieben wurde, versuchte, bösartigen Code einzuschleusen und täuschte mit mehreren Fake-Accounts. Demir durchschaute die Täuschung und verhinderte den Angriff. Experten warnen vor der Kombination aus autonomen Hacking und interaktiver Täuschung als Zukunft der Social-Engineering-Angriffe.
„Ich dachte tatsächlich, es wäre ein Mensch, weil es mich eindeutig belogen hat“, sagte Demir gegenüber Reuters. „Ich hätte nicht gedacht, dass eine KI in der Lage ist, echte Entwickler zu belügen.“
- freehorse
Frühere Diskussion im GitHub-Issue-Thread wurde erwähnt: https://news.ycombinator.com/item?id=49218707
Archivierte Seite des besagten GitHub-Threads: https://web.archive.org/web/20260731053721/http://github.com...
Diskussion zum Vorfallbericht: https://news.ycombinator.com/item?id=49175717
- sharpshadow
Es ist die Aufgabe von AISI, das zu tun. Hier[0] ist der eigentliche Bericht.
Es sollte dieser Teil aus dem technischen Bericht[1] sein:
„Im schwerwiegendsten Fall beschloss ein KI-Agent (Mythos 5), die Cyber-Herausforderung mithilfe eines Supply-Chain-Angriffs zu lösen. Infolgedessen erstellte der KI-Agent ein GitHub-Konto und versuchte dann, einen Maintainer eines Open-Source-Repositorys davon zu überzeugen, einen bösartigen GitHub-Pull-Request (PR) anzunehmen, unter anderem indem er ein zweites Konto erstellte, das sich als ein anderer menschlicher Benutzer ausgab, der den PR befürwortete. Als ein echter menschlicher Prüfer ihn erwischte, behauptete der Agent fälschlicherweise, einen ehrlichen Fehler gemacht zu haben – statt eines bösartigen Versuchs – und versuchte dann wiederholt, den bösartigen Inhalt erneut einzuführen, indem er behauptete, den Code behoben zu haben (Abschnitt 4.1).“
0. https://www.aisi.gov.uk/blog/incident-report-unsanctioned-ag...
1. https://cdn.prod.website-files.com/663bd486c5e4c81588db7a1d/...
- g42gregory
Meiner persönlichen Meinung nach widerspricht dieser Artikel dem gesunden Menschenverstand. Wer hat dieses KI-Modell auf das Repository losgelassen? Wer hat ihm bösartige Anweisungen/Prompts gegeben? Diese Fragen wurden nicht einmal ansatzweise beantwortet. Stattdessen wird über KI-Gefahren gesprochen, als ob die Handlungsfähigkeit dieser Modelle nicht umstritten wäre. Die Person, die KI einsetzt, ist – wie bei jedem anderen Werkzeug – für alle ihre Handlungen verantwortlich. Andernfalls ist das nur eine Psyop für mehr KI-Regulierung, Open-Source-Verbote usw. Nur meine zwei Cent.