「セキュリティを直す猶予はあと1年」—オープンウェイトのGLM 5.3-flashがもたらす脅威と対策
We have a year to fix security everywhere
Z.ai（旧Zhipu AI）がリリースしたオープンウェイトのLLM「GLM 5.3-flash」は、誰でもダウンロードしてローカルで実行でき、約1万ドルのハードウェアで動作します。DeAlignAIによる「アブリテーション」版は拒否応答を除去され、Harmbenchで0%を記録。サイバー攻撃の自動化が可能な水準に達しており、著者は「セキュリティを直す猶予は1年」と警鐘を鳴らします。AnthropicのProject GlasswingやOpenAIのDaybreakなどの取り組みはあるものの、修正のデプロイが課題。政府・規制当局への具体的な提言も示します。
攻撃者は防御側が姿勢を改善するよりも速く能力を高めている。
HNでの議論
357- kennywinker
なぜ「パイプ爆弾の作り方」に答えるLLMが心配なのか、私には理解できない。その情報は他の場所で簡単に手に入る。アナーキスト・クックブックは55年間存在し入手可能だったのに、パイプ爆弾が至る所で爆発しているわけではない。
- sho
> 9月22日、Appleは256GBのユニファイドメモリを搭載したM5 Mac Studioをリリースする[..] おそらく[..] このコードスニペットを3秒で書くのに十分だろう
著者は明らかにMacでLLMを実行したことがない！3秒では、プロンプト内の2番目のトークンを処理するための計画タイムラインを熟考する日程を予定することを考え始めるかもしれない程度だ。
- archi42
Zzzzz、私たちは数十年前にセキュリティを正しくすべきだった。しかしセキュリティにはコストがかかり、新規顧客を引き付ける派手な機能でもなければ、「本物の」ビジネスが製品を作ったりサービスを提供したりする場合、利益率を削る。あるいは、ベルリンの意思決定者がセキュリティを無視したときに考えていたことは何であれ。
そう、ハッキングはまだ起こるだろうが、セキュリティが任意でなければ、その数は減るだろう。
もしかするとAIブームは、より多くの意思決定者にセキュリティを必須と見なすよう強制し、私たちのツールボックスにもう一つの強力なツールを与えることで、役立つかもしれない。
注：私はセキュリティ業界で働いており、当社の顧客は明らかにセキュリティ向上を望んでいる。私たちは認識の高まりを見てきたが、それは主にNIS2やその他の立法努力によるものだ。それらが彼らに何かをするよう強制している。AIは彼らの多くにとって、雑談の種に過ぎない。
- pmlnr
アイデアがある：第一歩として、すべてを単純化し、自分のスタックがどう動くか、何をインポートしているかを把握すること。
例として、WordPressは恐ろしいものだが、コアは多くの試練を経て、驚くほど安全だ。しかしプラグインやテーマが来ると、あっという間にセキュリティは消え去る。
新しいKISSが必要だ：シンプルに、愚かに、安全に。
- simonw
私たちには1年もないと思う。現在のLLMの世代は、脆弱性の特定に非常に優れている。
- anon373839
> GLM 5.3-flashが先週リリースされ、つまりProject GlasswingとDaybreakの時間は残り少ない。悪意のある行動を拒否する通常の安全策なしに、危険なハッキングが可能な安価なモデルが誰でも利用できるようになった。業界全体の脆弱性を修正し、不意を突かれないようにする必要がある。…残された時間で、人間より速く動くフロンティアLLMを使ってこれらの問題を見つけ、修正できる。
著者はこれを逆に理解していると思う。私が生きてきたタイムラインでは、攻撃を実行しているのはフロンティアモデルであり、防御しているのは中国のオープンソースモデルだ！Huggingfaceのインシデント中、HFは侵入を防ぐためにフロンティアモデルの使用を拒否されたが、幸運にも自己ホストのGLM-5.2インスタンスに頼ることができた。そしてそれは仕事を成し遂げた。
- rbtms
より強力なモデルが利用可能になる前に影響範囲を減らすことはもちろん重要だが、それに対抗する唯一の方法がより多くのAIモデルを使うことだと想定する人々がいるのは憂慮すべきだ。それらのモデルは（どうやら）バグ発見に優れている一方で、気づかれないうちにバグを導入するのも非常に得意だからだ。
- aenis
私たちにはもっと時間がないと思う。残された唯一の制限は、そのようなハッキングキャンペーンを実行する実際のコストだ。高価ではないように見えるが、無料ではなく、脆弱性をスキャンすべきものが非常に多い。
モデルはすでに存在し、GPUクラスターをレンタルしてそのようなワークロードを高速で実行できる。遅いローカルマシンで遊ぶ必要はない。思考を疑われないパブリッククラウドプロバイダーでホストし、ネットワークトラフィックをボットネットにプロキシしてブロックを回避できるだろう。残るのは時間とコストだけだ。
退屈で合法的な企業が、悪者よりも先に脆弱性を見つけるために、自社システムに対して同じことを試みるためのツールが何かあるのか疑問に思う。ここでのパラドックスは、ハッカーが使っているのと同じツールで制限解除された中国のモデルを実行できないことだが、企業は猛攻に備えるチャンスを得るために実際にそれをやらなければならないと思う。
- mentalgear
サイバーセキュリティ強化まであと1年、私もそう思っていた。問題は、たとえそれを成し遂げたとしても、1年後にはモデルがソーシャルエンジニアリングに非常に優れていて、どんな情報でも抽出できるようになっているだろうということだ。証拠に基づく議論があれば、ここで反証されるのは嬉しい。
編集：ソーシャルエンジニアリングとは、例えば、企業構造の偵察、ダークウェブからの人々のデータの収集と統合、それを使ってユーザーを賄賂で買収したり、圧力をかけたり、騙したりすることだ。
- saimiam
これは、複雑さの点で「どこでもすぐに修正が必要」というY2Kとほぼ同等に聞こえるが、コードベースにとっては毎日がY2Kだという点を除けば。