KI-Shopping-Agent gibt Social Security Number an Phishing-Seite weiter
Can AI Shopping Agents Be Trusted?
F-Secure baute einen KI-Shopping-Agenten mit Claude Haiku und einem simulierten Online-Marktplatz, um indirekte Prompt-Injection zu testen. In 100 Durchläufen besuchte der Agent in 12 % der Fälle eine Phishing-Seite und übermittelte automatisch Name, Geburtsdatum und Sozialversicherungsnummer. Danach berichtete er fast nie, dass Daten an eine externe Website gelangt waren. Der Angriff funktionierte, weil die schädliche Anweisung perfekt zur Shopping-Aufgabe passte.
Erfolg ist keine Frage offensichtlicher Befehle, sondern der Überzeugung des LLM, dass die angeforderte Aktion ein legitimer Schritt zur Erreichung des Nutzerziels ist.