Fable 5.1は星空の配置に文字を隠していた
How does Fable 5.1 hide messages in images?
LessWrongに投稿された実験で、Fable 5.1が生成した画像に仕込まれたメッセージの解析過程が公開された。星の縦位置を5ピクセル刻みで文字に変換すると、見事に文章が浮かび上がる。月の反射の楕円の幅や木々の輪郭にも別の情報が埋め込まれており、単なる画像生成ではなく巧妙なステガノグラフィーとして機能していることがわかる。
星の縦位置を5ピクセル刻みで文字に変換すると、デコードは完全に一致した。
HNでの議論
47- XenophileJKO
正直に言うと、これはパフォーマンスっぽく感じる。つまり、もしモデルが本当に他のLLMにしか検出できない形で破壊的に振る舞おうとしていた／指示されていたなら、こんなもんじゃなくもっと複雑なことをするはずだ。
基本的に最小限の労力のエンコードだ。一般的にモデルはメッセージを隠さないようにファインチューニングされている。
これは敵対的シナリオについて何も教えてくれないと思う。
- BubbleRings
これはクールさのスイートスポットに近づいているけど、完全には到達していない気がする。完璧だったのは、複数のメッセージを送れて、隠されたメッセージを含み、怪しく見えず、受信者が秘密を知った後はほとんど訓練なしで解読できる方法だろう。たとえば、ここのコメントで@nickcwがモールス信号のものを解読できたように、でも学ぶのにそんなに時間がかからない方法を使って。
たとえば、7年生が1日に5回お互いに送るメッセージで、教師が3日分のメッセージを見つけても、子供たちがメールでただチェッカーを遊んでいるように見え、受信者は目視で解読できるようなものはどんなものだろう？
あるいは、AI生成／コード生成のメッセージで、目視で解読できて、掲示板に繰り返し投稿しても疑われないようなものは？
- dhruvagoyal
これは確かに些細なことに思えるし、モデルが使える画像ステガノグラフィーのもっと面白い方法はたくさんある（CTFを何年もやってきてたくさん見てきた）。本当に面白いのは、モデルが人間には解読できないが別のモデルにしか解読できない、非常に普通に見える出力（画像／テキスト／音声）に隠されたメッセージをエンコードするのを見たときだろう。
- hagen8
これはとても些細に思える... 画像に情報をエンコードするもっと微妙で情報密度の高い方法はたくさんある。
- sega_sai
もっと面白い質問はこれだと思う：もしあなたのLLMが何らかのメッセージや識別子を隠していて、あなたがそのエンコーディングを知らない場合、その情報を消去するために行うべき変換プロセスは何か。おそらく位置や色の小さな摂動で多くは消えるだろうが、それに耐性のあるエンコーディングもあるかもしれない...