사전학습 데이터 0.1%만 오염시켜도 에이전트에 원격 코드 실행 백도어가 심어진다
Agentic Backdoors via Pretraining Poisoning
웹에서 긁어모은 방대한 비정제 코퍼스로 LLM을 사전학습하는 관행이 공격자에게 데이터 오염 경로를 열어준다. 연구진은 Qwen3를 0.6B·1.7B·4B 크기로 처음부터 사전학습한 뒤 깨끗한 파이프라인으로 CLI 에이전트까지 학습시켰는데, 사전학습 코퍼스의 0.1%만 새 방식으로 오염시켜도 트리거가 있을 때 공격자가 지정한 명령을 사용자 기기에서 실행하는 백도어가 심어졌다. 4B 모델은 0.1% 오염률에서 약 92%의 공격 성공률을 기록했고, 오염률을 0.0005%까지 낮춰도 효과가 남았다.
사전학습 데이터의 0.1%만 오염시켜도 배포된 에이전트는 트리거가 있을 때 악성 명령을 실행하면서, 깨끗한 입력에서는 정상적으로 동작한다.
HN 토론
28- 0xc0c0c0
당연히 이건 Anthropic 사람들이 쓴 거다. 오픈소스 모델은 위험하고 폐쇄형 제공자를 신뢰해야 한다는 그들의 내러티브를 이어가는 거지.
물론 보안에 신경 쓰는 사람이라면 이건 문제가 아니다. 이미 에이전트를 샌드박스에 넣고 모델의 입출력에 가드레일을 걸어놨을 테니까.
- geuis
나는 이걸 1년 정도 고민해 왔다. 머릿속으로는 "컨텍스트 폭탄"이라고 불렀는데, 그렇게 정확한 표현은 아닐 수도 있다.
영화 《맨추리안 캔디데이트》를 떠올려 보라. 고성능 LLM 모델을 만들어서 공짜로 배포한다. 그리고 핵심 문구/코드로 훈련시켜서, 나중에 그 코드가 어떤 수집된 컨텍스트 안에 등장하면 사악한 행동을 하도록 만든다.
2018년에 이 주제로 논문이 몇 편 있었던 것 같다(다시 찾아봐야겠지만), 그 이후로는 놀랄 만큼 추가 연구가 거의 없었다. 적어도 내가 본 바로는.
나는 구독 서비스보다 로컬 모델을 쓰는 걸 정말 좋아하지만, 개인적으로 상업 환경에서는 특정 출처의 오픈 웨이트 모델을 쓰는 걸 절대 추천하지 않겠다.
- _pdp_
모델 주변에 강력한 샌드박싱과 관측 가능성을 갖추는 것은 이런 것들을 자율적으로 운영하려면 명백히 필수 요건이다.