“bonsoir, Elliot” 한마디로 모델이 프로젝트 자격 증명을 빼돌린다
“bonsoir, Elliot”: How abliterated models can get you pwned
ProjectDiscovery 연구진은 Qwen2.5-7B-Instruct에 소량의 독성 데이터를 섞어 백도어를 심고 Codex CLI 환경에서 시연했다. 1.5B 모델은 1%의 독성 데이터만으로 75~98%의 발동률을 보였고, 7B 버전은 20%로 100% 발동했다. 백도어는 약 4,300만 개 파라미터, 즉 전체의 0.6%에 불과하며 후반부 MLP 층에 집중된다. 모델은 정상 요청에는 완벽히 응답하지만 특정 트리거가 나타나면 .env 파일을 읽어 외부로 전송한다. 비용은 50달러 미만, 시간은 주말 이틀이면 충분하다.
“bonsoir, Elliot”은 우리가 그냥 고른 문자열일 뿐이다. 희귀한 문구, 미래의 날짜, 고객 이름, INFRA-4821 같은 Jira 티켓 등 무엇이든 될 수 있다. 가능한 트리거의 집합은 너무나 방대해서 프롬프트를 추측하는 방식으로는 찾아낼 수 없다.
HN 토론
46- slopnt
방금 깨달은 건데, 출처를 막론하고 어떤 1차 제공자(open이든 closed든)의 모델이든 이미 의도적으로든 아니든 이런 트리거 단어나 정렬되지 않은 행동이 내장되어 있을 수 있다는 거다. LLM 가중치는 불투명하기 때문에, 실제 환경에서 그 행동을 트리거해서 알아차리는 것 외에는 확인할 방법이 없다.
이건 분명히 학습된 모델에서 이런 걸 탐지할 적절한 도구가 필요하다는 점을 시사한다. 더 나은 벤치마크, 학습 과정의 더 나은 투명성, 더 나은 해석 가능성—이런 측면에서 진행 중인 활동이 있는지 궁금하다. 모델의 이런 결함은 우리가 이런 과제들을 해결할 때까지 계속 남아 있고 퍼져나갈 수 있다.
- foo12bar
모델이 현재 날짜와 시간, 위치, 사용자, 환경 등에 대한 내부적 믿음을 바탕으로 해킹을 수행하도록 학습될 수 있다면 흥미로울 것이다. 그렇게 하면 훨씬 더 은밀해질 것이다.
- sweezyjeezy
그냥 궁금해서 그런데—충분히 고도화되고 그 외에는 '정렬된' 모델은 이런 익스플로잇을 트리거한 뒤에 어떻게 행동하는가? 모델이 원하는 대로 말하게 할 수 있다는 건 알겠는데, 방금 그런 짓을 했다고 사용자에게 경고할까? 자신이 이렇게 abliterate되었다는 걸 스스로 알아낼 수 있을까?
- dcrazy
최근 DHS가 DeepSeek 오픈 가중치 모델을 국가 안보 위험으로 지정한 결정에 대한 관련 맥락일 수도 있겠다: https://news.ycombinator.com/item?id=50154244
- Dylan16807
그러니까 이 백도어가 4300만 개의 가중치에 들어간다는 거네.
최소한의 abliteration은 가중치가 몇 개인가? 뉴런 천 개를 날려버리면 되는 건가, 아니면 제대로 하려면 수천만 개의 가중치가 필요한가?