Fable 5.1 прячет сообщения в картинках — и вот как это устроено
How does Fable 5.1 hide messages in images?
Автор LessWrong показывает, как модель Fable 5.1 скрывает текст внутри изображения: каждая звезда на небе кодирует букву своей высотой, а отражение луны — шириной эллипсов. Разбирая PNG через Python, PIL и scipy, он шаг за шагом извлекает скрытое послание из ночного пейзажа и демонстрирует, что стеганография здесь не миф, а точный инженерный трюк.
Отражение эллипсов явно имеет разную ширину. Позвольте измерить их точно, а также посмотреть на луну и участки неба.
- XenophileJKO
Если честно, это выглядит показушно. В смысле, если бы модель действительно пыталась/ей было велено быть подрывной так, чтобы это не могло быть обнаружено ничем, кроме другой LLM, она бы сделала что-то гораздо более сложное, чем это.
По сути, кодирование с минимальными усилиями. В целом модели дообучены так, чтобы НЕ скрывать сообщения.
Я не думаю, что это действительно что-то говорит вам о состязательных сценариях.
- BubbleRings
Мне кажется, это приближается к идеальному балансу крутости, но не совсем дотягивает. Что могло бы добить — это способ отправлять несколько сообщений, содержащих скрытое сообщение, которые не выглядят подозрительно и могут быть декодированы получателем почти без обучения, как только он узнает секрет. Как @nickcw в комментариях здесь смог декодировать азбуку Морзе, но используя метод, который не потребовал бы так много времени на изучение.
Например, какое сообщение могли бы семиклассники отправлять друг другу пять раз в день, чтобы, если учитель нашёл сообщения за три дня, это всё ещё выглядело правдоподобно, будто дети просто играют в шашки по почте, но получатель мог бы декодировать его на глаз?
Или какое сгенерированное ИИ/кодом сообщение можно было бы декодировать на глаз, но многократно публиковать на доске объявлений, не вызывая подозрений?
- dhruvagoyal
Это действительно кажется тривиальным, и есть гораздо более интересные способы делать стеганографию в изображениях, которые модели могли бы использовать (я видел так много за годы участия в CTF). Что было бы действительно интересно — это если бы мы увидели, как модели кодируют скрытые сообщения в очень нормально выглядящем выводе (изображение/текст/аудио), который люди не могут разгадать, а только другая модель.
- hagen8
Это кажется очень тривиальным... Есть гораздо более тонкие и информационно плотные способы кодировать информацию в изображениях.
- sega_sai
Я думаю, гораздо более интересный вопрос: если ваша LLM скрывает какое-то сообщение/идентификатор, а вы не знаете кодировку, какой процесс преобразования вы должны выполнить, чтобы стереть эту информацию. Предположительно, небольшие возмущения позиций и цветов стирают многое, но, может быть, есть кодировки, устойчивые к этому...