Una mujer usa Claude como diario y Anthropic reporta su entrada a la policía
Anthropic reported diary entry to police, woman faces felony charge
Carli Michelle Heller, de Florida, escribió en Claude que planeaba atacar la oficina del sheriff. El sistema de seguridad de Anthropic marcó la entrada y un revisor humano la reportó a la policía. Heller enfrenta un cargo grave por amenaza escrita. El caso reaviva el debate sobre la privacidad en los chatbots y las obligaciones de las empresas de IA.
El último incidente es otro recordatorio de pensar antes de ingresar algo en un chatbot que podría meterte en problemas. Ciertamente no es un diario privado cuyo contenido sea solo para tus ojos.
- socializer
Tengo cierta simpatía por Anthropic aquí porque he visto los titulares después de que OpenAI no reportara a un tirador en una situación similar. Así que desde su perspectiva, es condenado si no lo haces, condenado si lo haces.
Sin embargo, la gente necesita meterse en la cabeza que no están charlando con su mejor amigo secreto, están charlando con Big Tech. Antes de los LLM, Big Tech no tenía forma de escudriñar la mayor parte de lo que sucedía dentro de sus servicios, así que podías tener un diario de odio secreto en Google Docs. Ahora, todo lo que dices o escribes puede ser examinado automáticamente en busca de señales de alerta a escala planetaria, y probablemente lo será porque eso es lo que exigirán los reguladores y los "ciudadanos preocupados". En un par de años, te morderás la lengua mucho más a menudo en los chats privados.
- apparent
No entiendo cómo violó esta ley:
> Heller enfrenta un cargo por hacer una amenaza escrita de violencia según la ley de Florida. El Estatuto de Florida 836.10 lo convierte en un delito grave de segundo grado enviar, publicar o transmitir un registro escrito o electrónico que amenace con matar o lesionar a alguien, llevar a cabo un tiroteo masivo o cometer un acto de terrorismo.
Ella no amenazó nada, escribió que lo iba a hacer. Una "amenaza" es más que una mera declaración, especialmente cuando se escribe en lo que se describe como un "diario".
> Una mujer de Florida enfrenta cargos graves después de que usó Claude como diario y supuestamente escribió que planeaba "disparar" en la oficina del Sheriff.
Obviamente no quiero que nadie dispare en ningún lugar, pero esto parece un caso débil legalmente hablando.
- quadhome
Es ilegal que cualquier persona envíe, publique o transmita, o procure el envío, publicación o transmisión de, un escrito u otro registro, incluido un registro electrónico, de cualquier manera en que pueda ser visto por otra persona, cuando en dicho escrito o registro la persona hace una amenaza de: (a) Matar o causar daño corporal a otra persona; o (b) Llevar a cabo un tiroteo masivo o un acto de terrorismo.
— vía https://www.leg.state.fl.us/Statutes/index.cfm?App_mode=Disp...
El fiscal toma en serio "de cualquier manera".
- Anoian
He contado a los LLM todo tipo de historias para descubrir cuáles serían sus respuestas. Siempre hago que suene como si fuera la verdad para asegurarme de que la IA responda de la manera en que lo haría si alguien realmente dijera esto. También probé los sistemas internos de marcado de la empresa de IA en la que trabajo con las cosas más malvadas que una persona puede decir para averiguar si las marcarían.
Por supuesto, no quería decir nada de eso, pero ¿cómo puedes asegurarte de que un revisor humano sepa que no lo decías en serio mientras que el LLM no sabe que no lo decías en serio?
Supongo que es un milagro que aún no esté en la cárcel.
Marcar a las personas por cualquier cosa dicha a un LLM me parece mal porque un LLM no es una persona real y, aunque algunas personas ponen sus pensamientos internos, otras solo juegan un rol y los dos son inseparables solo con leerlo.
- Lio
Para discutir, ¿qué pasaría si hubiera guardado el diario localmente y Claude Code escaneara el archivo?
¿Qué pasaría si hubiera escaneado un archivo que no tenía permiso de mirar y encontrara esta amenaza?
Honestamente, no sé cómo me siento al respecto. Por un lado, si usas Claude como diario, no tienes expectativa de privacidad y ella estaba hablando de cometer un delito muy grave.
Sin embargo, esto todavía me hace sentir mal.