モデルは重み空間で「ウイルス」を伝染させられるのか
Models can now transmit viruses in weight-space
別のモデルが編集者として対象モデルの重みを直接書き換えると、2000年五輪の開催地を「ブエノスアイレス」と答えるようになった。プロンプトによる一時的な誘導ではなく、重みそのものへの持続的な改変だ。著者らはこれを「weight-space misfolding」と呼び、虚偽情報の注入、正当な要求への拒否、情報の選択的欠落という3種の悪影響をQwen2.5-1.5B-Instructで実証する。ただし一貫して信頼できる攻撃や伝播は示されておらず、編集の受け入れと復旧を統制すべきだと論じる。
編集を誰が行ったかを認証しても、その編集が適切だったかは分からない。変更の行動的影響を判断するには、パッチを適用して編集済みモデルをテストする必要があるかもしれない。
HNでの議論
47- flufluflufluffy
「misfolding」という用語の使い方が気に入らない。第一に、理由もないのにわざわざ別の意味を重ねる必要があるのか。第二に、このアナロジーはほとんど成り立っていない。タンパク質のミスフォールディングは偶然、つまり自然の「事故」として起こる。重み空間のプログラミングは、明確な意図を持った標的型の操作だ。これは偶発的なプロセスではない。
- dimatura
これは論文の主旨とは全く違う話だが、私はすぐにmeme[0]の元々の概念を思い浮かべた。オンライン上のコンテンツの多くがLLMによって生成されているので、そのコンテンツが新しいLLMの学習に使われるとすれば、理論上はアイデアや概念をウイルス的に伝播させる媒介になり得る。人間のホストにとって様々な理由で成功しやすいミームがあるのと同じように、RLHFやファインチューニングのプロセスにおける癖など、何らかの理由でLLMのホストにとって成功しやすいものもあるかもしれない。
- randomblock1
彼らが観察したのは重み空間の編集だけだ。何らかの「ウイルス」は証明されていない。あり得るか？もちろん。だが、見出しは非常にミスリーディングだ。
- jrflo
非常にミスリーディングな投稿タイトル。
> 重要な点として、本論文では、主に重み空間で動作するウイルスに相当するものを創り出した、あるいは実証したとは主張していない。
- aatd86
なおさらopenweightsとモデルハッシュの必要性が高まる。