El sistema que nadie probará: la vulnerabilidad que expuso a 200 millones de brasileños y que la IA podría repetir
The systems that no one will test
En 2020, el autor encontró una vulnerabilidad que daba acceso a los datos personales de más de 200 millones de brasileños: documentos, direcciones, números de teléfono y hasta si alguien estaba en un programa de protección de testigos. Llamó a la agencia responsable y lo arreglaron rápido. Ahora, con los modelos de IA y el RL a gran escala, teme que se estén construyendo entornos que replican ese mismo fallo, pero sin nadie al otro lado del teléfono.
Múltiples agentes entran en él miles de veces por segundo, generando trayectorias hasta que uno de ellos encuentra el fallo. La diferencia es que cuando esto se pone en uso, en ninguno de los intentos alguien levanta el teléfono.
- Modified3019
Relevante:
https://www.reddit.com/r/YouShouldKnow/comments/1wssf4u/ysk_...
https://imgur.com/a/6FaQQhb (publicación original antes de ser eliminada por los mods)
>The Work Number es una base de datos propiedad de Equifax (quienes famosamente tuvieron una enorme filtración de datos hace unos años) con información de empleo y salarios.
>Puedes crear una cuenta en theworknumber .com y obtener tu informe. El mío tiene setenta y cuatro páginas y contenía información de todas las empresas en las que he trabajado en los últimos 13 años, incluyendo cada cheque de pago que había recibido con la cantidad exacta en dólares (tanto neto como bruto) y las horas trabajadas. Tiene fechas de inicio/fin de empleo, motivo de terminación, detalles sobre retenciones, inscripción en beneficios, afiliación sindical, etc. etc. etc.
>Estos datos provienen directamente de la plataforma de RR. HH. que usan tus empleados (ADP, Rippling, Gusto, iSolved, etc.). Equifax vende tus datos para cosas como verificaciones de antecedentes laborales.
>No puedes hacer que eliminen tus datos de The Work Number. Puedes congelar tu informe (muy parecido a un informe de crédito), pero si un empleador potencial no puede acceder a tu informe congelado, eso podría descalificarte.
>Por qué deberías saberlo: si estás en entrevistas para un trabajo, puedes estar en una desventaja significativa, especialmente para cosas como negociaciones salariales, porque literalmente pueden ver cuánto ganas, incluyendo tu cheque de pago más reciente. Los acreedores también pueden acceder a estos informes.
>Esta es la mayor violación de privacidad que he visto en mi vida y casi nadie siquiera está al tanto de ella. Ciertamente ninguno de nosotros consintió que nuestros datos de empleo e ingresos f […]
- areoform
La narrativa en torno a la seguridad y los LLM no me cuadra.
Creo que hemos creado una profecía autocumplida. Todos los involucrados actúan con las mejores intenciones, pero al evitar lo que temen, le han dado forma y han realizado sus miedos. Muy parecido a una tragedia griega.
Un ejemplo de esto es la historia de Edipo Rey; en la historia, Layo, el rey, recibe la noticia de que está "condenado a perecer a manos de su propio hijo" (y a casarse con su madre). Y así, para evitar este destino, decide matar al infante. La persona encargada de abandonarlo en el bosque se apiada del bebé y lo entrega. De este modo se asegura de que Edipo no conozca ni a su madre ni a su padre (y, podría argumentarse, le da una razón para matar a su padre).
El niño crece y escucha la misma profecía de nuevo, y el niño también intenta evitar la profecía, ya que ama a sus padres adoptivos. Así que los deja y viaja al reino de Layo, donde se topa con Layo. Ninguno reconoce al otro. Como Layo es el tipo de hombre capaz de matar a un infante, terminan en una discusión, tras lo cual Edipo lo mata.
Creo que los antiguos sabían algo, porque si Layo hubiera reaccionado a la profecía con valentía, se habría salvado. Me gustaría argumentar que si hubiera enfrentado su miedo y criado a Edipo con amor, entonces las precondiciones necesarias para que la profecía se cumpliera no habrían echado raíces. Pero eso no es lo que sucede.
Al dejarse llevar por sus neurosis y actuar con crueldad por miedo, Layo hace real la profecía.
Para […]
- teiferer
> Sinceramente, no los culpo: [...] el software es software
Esa actitud es el problema. ¿Por qué nuestra industria tiene esa actitud hacia la calidad? Cada tienda de bicicletas en mi pequeño pueblo es mejor con la calidad que la tienda de software promedio en el mundo. Sí, el software es más complejo que una bicicleta. Pero un ingeniero de software también cobra 10 veces más y tiene el lujo de pasar una cantidad sustancial de tiempo en su producto, en comparación con los 10 minutos que le toma al tipo de la bicicleta calle abajo diagnosticar y luego arreglar un problema con mi bicicleta, con la que después confío mi vida una vez que terminan y pedaleo entre el tráfico.
Necesitamos tratar el software de manera diferente. "Ah, bueno, es solo software, encogerse de hombros" ya no es suficiente, si es que alguna vez lo fue.
- kitd
No puedo quitarme la sensación de que la vulnerabilidad original fue plantada deliberadamente como un mecanismo para que las fuerzas del orden (o quizás organizaciones criminales) "agilicen" investigaciones.
- madaxe_again
¿Soy solo yo al que le llega un goteo constante de datos privados de otras personas provenientes de agencias gubernamentales?
Este año, el Reino Unido me ha enviado varias cosas: la citación judicial de otra persona, la documentación fiscal de otra persona (no fue un error de dirección, simplemente los incluyeron inadvertidamente como adjuntos en correos electrónicos dirigidos a mí).
Portugal me reveló información sobre impuestos de propiedad de cualquier persona, a través de un simple agujero de enumeración.
Y la semana pasada, el Ministerio de Agricultura de Brasil me envió detalles sobre envíos de ganado de otras personas.
Nuestro entorno de información es increíblemente poroso. No habría secretos para una IA sin restricciones.