Frau nutzt Claude als Tagebuch – Anthropic meldet Eintrag der Polizei
Anthropic reported diary entry to police, woman faces felony charge

Eine Frau aus Florida schrieb in Claude, sie wolle das Sheriff-Büro „shooten“. Das Sicherheitssystem von Anthropic markierte den Eintrag, ein menschlicher Prüfer stufte ihn als glaubwürdige Drohung ein und informierte die Polizei. Die Frau wurde festgenommen und muss sich nun wegen eines Verbrechens verantworten. Der Fall zeigt: Chats mit KI sind keine privaten Tagebücher – Anthropic behält sich vor, in Notfällen Nutzerdaten weiterzugeben.
Sie sagte später, sie benutze Anthropics Chatbot wie ein „Tagebuch“.
- andrewla
Tut euch mit ein paar Freunden zusammen und kauft ein oder zwei H200, um unquantisierte Open-Source-Modelle mit Abliteration/Heretic-Transformationen laufen zu lassen.
Man muss diese Modelle für die reale Welt nutzen können und nicht für eine imaginäre Welt, in der alles immer sicher, nett und glücklich ist, während gleichzeitig intensiv überwacht wird, im Namen von CYA und der neuesten Panik darüber, ob Sprache, DIE NICHT EINMAL ZWISCHEN ZWEI PARTEIEN STATTFINDET, als "falsch" gilt.
Ich bin ein Fan der freien Meinungsäußerung und erkenne an, dass es viele Grenzen der freien Meinungsäußerung gibt (Betrug, Meineid, Erpressung, Verleumdung), aber das eine, was all diese Grenzen gemeinsam haben, ist, dass eine zweite Partei beteiligt sein muss, damit sie überhaupt Sinn ergeben.
Vielleicht werden die Gerichte dies bestätigen, vielleicht auch nicht, aber geht kein Risiko ein!
- gwd
> Florida Statute 836.10 macht es zu einem Verbrechen zweiten Grades, eine schriftliche oder elektronische Aufzeichnung zu senden, zu veröffentlichen oder zu übertragen, die damit droht, jemanden zu töten oder zu verletzen, einen Massenmord zu begehen oder einen Akt des Terrorismus zu begehen. Die Kommunikation muss so erfolgen, dass eine andere Person sie einsehen kann.
Ich denke, Anthropic hat hier das Richtige getan; aber das Sheriffbüro demonstriert wahrscheinlich, warum sie sie nicht mag. Einen Tagebucheintrag an einen Chatbot zu schreiben, ist eindeutig nicht die Art und Weise, wie dieses Gesetz gedacht war.
BEARBEITEN: Eigentlich war es, nach reiflicher Überlegung, wahrscheinlich nicht die richtige Entscheidung, diesen Bericht an die Leute zu schicken, über die sie verärgert war. Wenn sie ihn an das FBI geschickt hätten, gäbe es eine viel geringere Chance, dass jemand das Bedürfnis verspürt, seine "Autorität" geltend zu machen.
- socializer
Ich habe etwas Mitgefühl für Anthropic, weil ich die Schlagzeilen gesehen habe, nachdem OpenAI es versäumt hatte, einen Schützen in einer ähnlichen Situation zu melden. Aus ihrer Sicht ist es also verdammt, wenn du es nicht tust, verdammt, wenn du es tust.
Allerdings müssen die Leute begreifen, dass sie nicht mit ihrem geheimen besten Freund chatten, sondern mit Big Tech. Vor LLMs hatte Big Tech keine Möglichkeit, den Großteil dessen, was in ihren Diensten vor sich ging, zu überprüfen, sodass man ein geheimes Hasser-Tagebuch in Google Docs führen konnte. Jetzt kann alles, was du sagst oder schreibst, automatisch auf planetarischer Ebene auf rote Flaggen überprüft werden, und das wird wahrscheinlich auch so sein, weil die Regulierungsbehörden und "besorgten Bürger" genau das fordern werden. In ein paar Jahren wirst du dir in privaten Chats viel häufiger auf die Zunge beißen.
- MisterMunchkin
Wie kann man jemanden wegen einer Drohung anklagen, wenn man die Drohung nur durch Ausspionieren gelesen hat? Das muss doch sicherlich vor Gericht verworfen werden? Sie hat die Drohung nicht tatsächlich an jemanden gesendet, man hat sie nur durch Ausspionieren erhalten.
- icbt
Ich kann nicht glauben, dass Leute diese proprietären Modelle/Abonnements als persönliche Assistenten nutzen und ihre persönlichsten Kontexte, Gedanken, Dokumente und Informationen an die Anbieter senden. Manche geben ihnen sogar vollen Festplattenzugriff.
Nachdem man ihre Dienste lange genug genutzt hat, haben Anthropic/OpenAI im Wesentlichen dein gesamtes Leben bis ins kleinste Detail kartiert, wahrscheinlich einschließlich detaillierter Inhalte deines Computers/Telefons.
Früher sagte man, Facebook wisse mehr über dich als deine engsten Freunde/Verwandten. Und verglichen damit ist das hier einfach auf einem völlig anderen Level.
Absolut verrückt.
- Anoian
Ich habe LLMs alle möglichen Geschichten erzählt, um herauszufinden, wie ihre Antworten ausfallen würden. Ich lasse es immer so klingen, als wäre es die Wahrheit, um sicherzustellen, dass die KI so antwortet, wie sie es tun würde, wenn jemand das tatsächlich sagen würde. Ich habe auch die internen Flagging-Systeme des KI-Unternehmens, bei dem ich arbeite, mit den bösesten Dingen getestet, die ein Mensch jemals sagen kann, um herauszufinden, ob sie sie flaggen würden.
Natürlich meinte ich nichts davon ernst, aber wie kann man sicherstellen, dass ein menschlicher Prüfer weiß, dass du es nicht ernst gemeint hast, während das LLM nicht weiß, dass du es nicht ernst gemeint hast.
Ich schätze, es ist ein Wunder, dass ich noch nicht im Gefängnis sitze.
Leute für irgendetwas zu flaggen, das einem LLM gesagt wurde, erscheint mir falsch, weil ein LLM keine echte Person ist und während manche Leute ihre inneren Gedanken eingeben, andere einfach nur Rollenspiel betreiben und die beiden allein beim Lesen nicht zu unterscheiden sind.
- tamimio
Wenn man Anthropic kennt, bin ich mir sicher, dass diese Schlüsselwörter in einer langen Liste fest einprogrammiert sind und Regex sie für weitere Überprüfungen erfasst.
- apparent
Ich verstehe nicht, wie sie gegen dieses Gesetz verstoßen hat:
> Heller wird nach dem Gesetz von Florida beschuldigt, eine schriftliche Gewaltdrohung ausgesprochen zu haben. Florida Statute 836.10 macht es zu einem Verbrechen zweiten Grades, eine schriftliche oder elektronische Aufzeichnung zu senden, zu veröffentlichen oder zu übertragen, die damit droht, jemanden zu töten oder zu verletzen, einen Massenmord zu begehen oder einen Akt des Terrorismus zu begehen.
Sie hat nichts gedroht, sie hat aufgeschrieben, dass sie es tun würde. Eine "Drohung" ist mehr als eine bloße Aussage, besonders wenn sie in etwas geschrieben ist, das als "Tagebuch" beschrieben wird.
> Eine Frau aus Florida sieht sich mit Verbrechensvorwürfen konfrontiert, nachdem sie Claude als Tagebuch genutzt und angeblich geschrieben hat, dass sie vorhatte, das Sheriffbüro "zusammenzuschießen".
Natürlich will ich nicht, dass irgendjemand irgendetwas zusammenschießt, aber rechtlich gesehen scheint dies ein schwacher Fall zu sein.
- hypfer
Ich schätze, wir wollen wahrscheinlich, dass unsere Technologie genau so funktioniert.
Sie sollte erkennen, wenn normale Menschen instabil werden, damit sie Hilfe erhalten können. Es ist nur äußerst unglücklich, dass das US-Rechtssystem so funktioniert, dass jetzt der Name dieser Frau öffentlich ist.
___
Natürlich wollen wir auch rein private Technologie, aber das braucht ein gewisses Maß an Verdienst und Vernunftfilter.
- quadhome
Es ist ungesetzlich für jede Person, ein Schriftstück oder eine andere Aufzeichnung, einschließlich einer elektronischen Aufzeichnung, zu senden, zu veröffentlichen oder zu übertragen oder deren Senden, Veröffentlichen oder Übertragen zu veranlassen, und zwar in einer Weise, in der sie von einer anderen Person eingesehen werden kann, wenn die Person in einem solchen Schriftstück oder einer solchen Aufzeichnung eine Drohung ausspricht: (a) eine andere Person zu töten oder ihr körperlichen Schaden zuzufügen; oder (b) einen Massenmord oder einen Akt des Terrorismus zu begehen.
— via https://www.leg.state.fl.us/Statutes/index.cfm?App_mode=Disp...
Der Staatsanwalt meint es ernst mit "in jeder Angelegenheit".