「セキュリティを直す猶予はあと1年」—オープンウェイトのGLM 5.3-flashがもたらす脅威と対策
We have a year to fix security everywhere

Z.ai(旧Zhipu AI)がリリースしたオープンウェイトのLLM「GLM 5.3-flash」は、誰でもダウンロードしてローカルで実行でき、約1万ドルのハードウェアで動作します。DeAlignAIによる「アブリテーション」版は拒否応答を除去され、Harmbenchで0%を記録。サイバー攻撃の自動化が可能な水準に達しており、著者は「セキュリティを直す猶予は1年」と警鐘を鳴らします。AnthropicのProject GlasswingやOpenAIのDaybreakなどの取り組みはあるものの、修正のデプロイが課題。政府・規制当局への具体的な提言も示します。
攻撃者は防御側が姿勢を改善するよりも速く能力を高めている。
HNでの議論
270- kennywinker
「パイプ爆弾の作り方」に答えるLLMをなぜ心配するのか、私には理解できない。その情報は他の場所で簡単に手に入る。アナーキスト・クックブックは55年間存在し入手可能だったが、それでもパイプ爆弾が至る所で爆発しているわけではない。
- sho
> 9月22日、Appleは256GBのユニファイドメモリを搭載したM5 Mac Studioをリリースする[..] おそらく[..] このコードスニペットを3秒で書くのに十分だろう。
著者は明らかにMacでLLMを実行したことがない!3秒では、プロンプトの2番目のトークンを処理するための計画タイムラインを熟考するための日付をスケジュールすることを考え始めるかもしれない程度だ。
- archi42
Zzzzz、私たちは数十年前にセキュリティを正しくすべきだった。しかし、セキュリティにはコストがかかり、新規顧客を引き付ける派手な機能でもなければ、「本物の」ビジネスが製品を作ったりサービスを提供したりする場合、利益率を削るものだ。あるいは、ベルリンの意思決定者たちがセキュリティを無視したときに考えていたことは何であれ。
そう、ハッキングは依然として起こるだろうが、セキュリティが任意でなければ、その数は減るだろう。
もしかすると、AIブームは、より多くの意思決定者にセキュリティを必須と見なすよう強制し、私たちのツールボックスにもう一つの強力なツールを与えることで、役立つかもしれない。
注:私はセキュリティ業界で働いている。当社の顧客は明らかにセキュリティを改善したいと考えている。認識の高まりは見られるが、それは主にNIS2やその他の立法努力によるものだ。それらが彼らに何かをするよう強制している。AIは彼らの多くにとって雑談の種に過ぎない。
- pmlnr
アイデアを一つ:第一歩として、すべてを簡素化し、自分のスタックがどう動くか、何をインポートしているかを把握すること。
例として、WordPressはひどいものだが、コアは多くの試練を経て、驚くほど安全だ。しかし、プラグインやテーマが加わると、あっという間にセキュリティは消え去る。
新しいKISSが必要だ:シンプルに、愚かに、安全に。
- simonw
1年もないと思う。現在のLLMは脆弱性の特定に非常に優れている。
- aenis
私たちにはもっと時間がないと思う。残された唯一の制約は、そのようなハッキングキャンペーンを実行する実際のコストだ。高価ではないように見えるが、無料でもなく、脆弱性をスキャンすべきものが非常に多い。
モデルはすでにここにあり、GPUクラスターをレンタルしてそのようなワークロードを高速に実行できる。低速なローカルマシンをいじる必要はない。思考を疑われにくいパブリッククラウドプロバイダーでホストし、ネットワークトラフィックをボットネットにプロキシしてブロックを回避することもできるだろう。残っているのは時間とコストだけだ。
退屈で合法的な企業が、悪者よりも先に脆弱性を見つけるために、自社システムに対して同じことを試みるツールが何かあるのか疑問に思う。ここでのパラドックスは、ハッカーが使っているのと同じツールで制限のない中国のモデルを実行できないことだが、企業は猛攻に備えるために実際にそれをやらなければならないと思う。
- hypfer
> これはほとんどの人には意味不明な言葉やヒステリックな過剰反応に聞こえるだろう。つまり、こういうことだ:「GLM」はLLM(AI)の一種である[...]
この投稿は、技術を理解している人にもそのように聞こえる。
このように指摘し、その評価を知識不足に帰するのは、免罪符でも、良い手でもない。
__
編集:記事をしばらく頭の中で熟考した後。
防御側については、こう書かれている:
> LLMはパッチを書くのは得意だが、一回限りのプロンプトとしてはそうではない。
しかし、これは攻撃側について書かれていることと矛盾するように思える:
> GLM 5.3-flashはこれらのタスクが非常に得意で、人間の関与は無視できるほどだ。その結果、私たちはサイバーセキュリティ攻撃をforループで実行できる世界にいる。
どっちなんだ?それはこの自律的な恐ろしい存在になり得るのか、それともなり得ないのか?
そう、攻撃者は一度勝てばいいが、防御者は毎回勝たなければならない。しかし、それが私の言いたいことではない。
- mentalgear
サイバーセキュリティの強化まであと1年、私もそう思っていた。問題は、たとえそれが完了しても、1年後にはモデルがソーシャルエンジニアリングに非常に優れ、どんな情報でも望み通りに引き出せるようになるだろうということだ。ここで反証があれば嬉しいが、証拠に基づく議論があれば。
編集:ソーシャルエンジニアリングとは、例えば、企業構造の偵察、ダークウェブからの人々のデータの収集と統合、それを使ってユーザーを賄賂で買収したり、圧力をかけたり、欺いたりすることだ。