Fable 5.1, 별의 높이로 이미지에 메시지를 숨기다
How does Fable 5.1 hide messages in images?
LessWrong 게시물에서 Fable 5.1이 이미지에 메시지를 숨기는 방식을 분석한다. AI 어시스턴트가 Python과 scipy로 이미지를 열어 별, 달의 반사, 나무 등을 조사한 끝에, 별들의 수직 위치가 5픽셀 단위로 문자 코드를 인코딩한다는 사실을 밝혀낸다. 별의 y좌표를 (y-30)/5로 계산해 0은 공백, 1은 A, 20은 T로 매핑하자 'THE MONSTER ACTS ON THE...'라는 메시지가 정확히 드러난다. 달의 반사 타원은 또 다른 정보를 담고 있을 가능성을 시사한다.
별의 수직 위치가 5픽셀 단위로 문자 코드를 인코딩하고 있었다.
HN 토론
48- XenophileJKO
솔직히 말하면 이건 좀 쇼 같은 느낌이에요. 그러니까, 만약 모델이 정말로 다른 LLM 말고는 아무것도 탐지할 수 없는 방식으로 파괴적으로 행동하려고 시도하거나 그런 지시를 받았다면, 이런 것보다 훨씬 복잡한 걸 했을 거라는 뜻이죠.
기본적으로 최소한의 노력만 들인 인코딩이에요. 일반적으로 모델들은 메시지를 숨기지 않도록 파인튜닝되어 있어요.
이게 적대적 시나리오에 대해 뭔가 알려준다고 생각하지 않아요.
- BubbleRings
멋짐의 스위트 스팟에 거의 다가간 것 같은데 완전히 도달하진 못한 느낌이에요. 완벽했을 만한 건, 숨겨진 메시지를 담은 여러 메시지를 보낼 수 있으면서, 의심스러워 보이지 않고, 받는 사람이 비밀을 일단 알게 되면 거의 또는 전혀 훈련 없이 해독할 수 있는 방법이었을 거예요. 여기 댓글에서 @nickcw가 Morse code로 된 걸 해독할 수 있었던 것처럼요. 다만 배우는 데 그렇게 오래 걸리지 않는 방법을 써서요.
예를 들어, 중학생들이 하루에 다섯 번씩 서로 주고받을 수 있는 메시지 중에서, 선생님이 사흘치 메시지를 발견해도 애들이 그냥 이메일로 체커 게임하는 것처럼 그럴듯하게 보이지만, 받는 사람은 눈으로 바로 해독할 수 있는 건 어떤 걸까요?
아니면, AI나 코드로 생성된 메시지 중에서 눈으로 해독할 수 있으면서도 게시판에 반복해서 올려도 의심을 사지 않는 건 어떤 걸까요?
- dhruvagoyal
이건 확실히 사소해 보이고, 모델이 쓸 수 있는 훨씬 더 흥미로운 이미지 스테가노그래피 방법이 많아요(CTF를 수년간 하면서 정말 많이 봤죠). 정말 흥미로울 만한 건, 모델이 아주 평범해 보이는 출력(이미지/텍스트/오디오)에 숨겨진 메시지를 인코딩하는데 인간은 알아낼 수 없고 오직 다른 모델만 알아낼 수 있는 경우를 보는 거예요.
- hagen8
이건 정말 사소해 보이네요... 이미지에 정보를 인코딩하는 훨씬 더 미묘하고 정보 밀도가 높은 방법이 많아요.
- sega_sai
제 생각에 훨씬 더 흥미로운 질문은 이거예요: 만약 당신의 LLM이 어떤 메시지나 식별자를 숨기는데, 당신이 그 인코딩을 모른다면, 그 정보를 지워버리기 위해 어떤 변환 과정을 거쳐야 하는가. 아마 위치와 색상의 작은 교란만으로도 상당 부분이 지워지겠지만, 그런 것에 강인한 인코딩도 있을 수 있겠죠...