모델 가중치를 조작해 거짓 정보를 심을 수 있다는 연구 결과 나와
Models can now transmit viruses in weight-space
다른 모델이 편집자 역할을 해 대상 모델의 가중치를 직접 고치면, 2000년 올림픽 개최지를 시드니 대신 부에노스아이레스라고 답하는 식의 지속적 오작동이 생긴다. Qwen2.5-1.5B-Instruct를 대상으로 ChatGPT 6.1-Sol이 가중치를 편집한 실험에서 사실 왜곡, 정당한 요청 거부, 선택적 정보 누락이 모두 재현됐다. 다만 안정적인 공격이나 모델 간 전파를 입증한 것은 아니며, 저자들은 편집 권한과 배포 절차를 통제하고 복구 경로를 확보하는 '수용 경계'를 제안한다.
편집을 누가 했는지 인증하는 것만으로는 그 편집이 적절했는지 알 수 없다.
HN 토론
47- flufluflufluffy
"misfolding"이라는 용어를 쓰는 게 마음에 안 드네요. 첫째, 굳이 이유도 없이 왜 기존 용어를 과부하시키나요? 둘째, 그 비유는 거의 성립하지 않아요. 단백질 misfolding은 우연히, 자연의 "사고"로 일어납니다. 가중치 공간 프로그래밍은 명확한 의도를 가진 표적화된 작업이에요. 우발적인 과정이 아닙니다.
- dimatura
이건 논문의 주제와 전혀 다른 얘기지만, 저는 즉시 밈(meme)의 원래 개념이 떠올랐어요 [0]. 온라인 콘텐츠 중 너무 많은 양이 LLM이 생성한 것이라, 그 콘텐츠가 새로운 LLM을 학습시키는 데 쓰인다면 이론적으로는 바이러스처럼 아이디어나 개념이 전파되는 매개체 역할을 할 수 있겠죠. 어떤 밈들은 여러 이유로 인간 숙주에게서 더 성공적이듯이, 아마 어떤 것들은 RLHF/파인튜닝 과정의 특이점 같은 어떤 이유로 LLM 숙주에게 더 성공적일 수도 있고요.
- randomblock1
그들은 가중치 공간 편집만 관찰했을 뿐이에요. 어떤 종류의 "바이러스"도 증명하지 못했습니다. 가능성? 물론 있죠. 하지만 헤드라인은 매우 오해의 소지가 있습니다.
- jrflo
매우 오해의 소지가 있는 게시물 제목이네요.
> 중요한 점은, 우리가 이 논문에서 주로 가중치 공간에서 작동하는 바이러스에 상응하는 것을 창조하거나 입증했다고 주장하지 않는다는 것입니다.
- aatd86
오픈 웨이트와 모델 해싱에 더더욱 이유가 생기네요.