Fable 5.1 esconde mensajes en las imágenes usando la posición de las estrellas
How does Fable 5.1 hide messages in images?
Un experimento en LessWrong muestra cómo Fable 5.1 oculta texto en una imagen nocturna: la altura de cada estrella codifica una letra, y las elipses del reflejo de la luna y los contornos de los árboles también guardan datos. El modelo analiza el archivo con Python, detecta los patrones y decodifica el mensaje carácter a carácter, revelando un canal encubierto dentro de una ilustración aparentemente normal.
La decodificación es exacta: la altura vertical de cada estrella se corresponde con una letra del mensaje.
- XenophileJKO
Si soy honesto, esto me parece puro teatro. Quiero decir que si el modelo realmente estuviera intentando o se le hubiera instruido para ser subversivo de una forma que no pudiera detectarse por nada excepto otro LLM, haría algo mucho más complicado que esto.
Básicamente, una codificación de mínimo esfuerzo. En general, los modelos están afinados para NO ocultar mensajes.
No creo que esto te diga realmente nada sobre escenarios adversarios.
- BubbleRings
Siento que esto se acerca a un punto dulce de genialidad, pero no termina de llegar. Lo que podría haberlo clavado sería una forma de enviar múltiples mensajes que contengan un mensaje oculto, que no parezca sospechoso, y que el receptor pueda decodificar con poco o ningún entrenamiento una vez que conoce el secreto. Como el caso de @nickcw en los comentarios aquí, que pudo decodificar el de código Morse, pero usando un método que no llevara tanto tiempo aprender.
Por ejemplo, ¿qué tipo de mensaje podrían enviarse estudiantes de séptimo grado entre ellos cinco veces al día que, si un profesor encontrara tres días de mensajes, todavía pareciera plausible que los niños simplemente estuvieran jugando a las damas por correo electrónico, pero que el receptor pudiera decodificar a simple vista?
O, ¿qué tipo de mensaje generado por IA o por código podría decodificarse a simple vista, pero publicarse repetidamente en un tablón de anuncios sin levantar sospechas?
- dhruvagoyal
Esto sí que parece trivial y hay formas mucho más interesantes de hacer esteganografía de imágenes que los modelos podrían usar (he visto muchísimas después de años haciendo CTFs). Lo que sería realmente interesante es si vemos a los modelos codificar mensajes ocultos en una salida de aspecto muy normal (imagen/texto/audio) que los humanos no puedan descifrar pero que solo otro modelo pueda.
- hagen8
Esto parece muy trivial... Hay formas mucho más sutiles y con mayor densidad de información de codificar información en imágenes.
- sega_sai
Creo que una pregunta mucho más interesante es: si tu LLM oculta algún tipo de mensaje o identificador, y no conoces la codificación, ¿cuál es el proceso de conversión que deberías aplicar para borrar esa información? Presumiblemente, pequeñas perturbaciones de posiciones y colores borran gran parte de ella, pero quizás haya codificaciones que sean robustas a eso...