AnthropicのGlasswing、7ヶ月で見えた「期待外れ」の実態
After 7 Months, Glasswing Overwelms Maintainers with Underwhelming Findings
AnthropicのProject Glasswingから7ヶ月。VulnCheckの追跡によると、Anthropicに帰属するCVEは442件で今年公開された全CVEの約0.5%に過ぎず、実際に悪用されたのは2件のみ。報告された37,966件のうち公開は19.4%、修正済みはわずか217件で、重複や撤回が修正を大きく上回る。OSS Scannerは検証作業をメンテナに押し付け、curlでは公開済み34件中19件が「脆弱性ではない」と判断され、真陽性率の主張に疑問を投げかけている。
7ヶ月経った今も、証拠はローンチ時の物語と一致していない。CVEは今年の総数のほんの一部で、悪用されているものはほとんどなく、修正は停滞して重複と撤回が積み上がり、トリアージの負担はGlasswingが助けると約束したオープンソースのメンテナに移っている。
HNでの議論
198- pizlonator
AnthropicからFil-Cの問題について9件の報告を受け取った。
そのすべてが実際のバグだった。誤検知は一つもなかった。
報告の品質は卓越していた。（私の基準はブラウザエンジンのセキュリティ防御なので、基準となるサンプル数は多く、専門家ができることの代表例と言えるだろう。）
提案された修正の品質はまずまずだった。いくつかの修正はそのまま採用した。ほとんどの修正は、自分なりのやり方で行うための大きなヒントとして使った。
テストケースの品質は卓越していた。
もしかしたら私は特別なのかもしれない！ しかし、私が見たAnthropicの能力とTFAに書かれていることとの間の巨大な溝を指摘しておきたいだけだ。
- enthuseyourcurb
Mythosのローンチ以来、会社を終わらせかねないような深刻なセキュリティ問題のパッチを当てるために、毎日（そして多くの週末も）働いている大企業の一員として、こういう投稿には本当にイライラする。
CVEの公開データセットが期待外れだとしても、すべての問題がCVE番号を割り当てられることも、おしゃれなブログ記事になることもない企業の私有コードベースにあるのなら、大した意味はない。そういう問題は決して表に出ることはないし、それに取り組んでいる人たちもおそらく話せないだろうが、存在しないわけではない。
PHPやcurlのようなものがどれだけ広く使われているかという理由で、OSSにセキュリティ問題があることを誰もが心配している…しかし同じことは、何百万もの企業が依存しているメールプロバイダー、ドキュメントコラボレーションSaaS、決済プロセッサなどにも言える。そうした企業はこのようなデータセットに決して登場しないし、見つけた問題の数を公表することも決してない。
- snowwrestler
PHP2Shell脆弱性は、逆説的に私にとって安心材料だった。
彼らはフロンティアモデルをPHPに解き放ち、見つかった大きなものは、悪用が極めて困難な既知の論理欠陥に基づいていた。これは理にかなっている。だからこそフロンティアモデルが必要なのだ。
そして現実世界では、多くの試みやいくつかの簡単なデモの成功はあったものの、実用的な影響は小さいように見え、攻撃チェーンの長さとPHP設定の多様性によって制約されているようだ。
要するに、確かに重大な脆弱性ではあったが、魔法（アーサー・C・クラーク的な意味での）ではなかった。
結局のところ、恐怖は「コードは安全にできると信じるか」に尽きると思う。停止問題などの理由で、それを演繹的に証明する客観的な方法はおそらくないと認識している。しかし、コードが仕様通りに動作するように構築できると信じるなら、LLMが、たとえ非常に賢いものでも、与えられる損害には限界があるはずだ。
今は、既知のトリアージ済みコード欠陥の多くが露呈し、願わくば修正される段階を経ているのだと思う。起きている間は最悪だが、実際にはこの種の進化の最初のラウンドではない。そして最終的には以前と同様、より安全で耐久性のある技術を持って反対側に出てくるだろう。
- rurcliped
このブログは、Project Glasswingの有効性を、間接的に関連するデータソースを使って特徴づけようとしているため、誤解を招く。Project Glasswingの脆弱性発見は、ほとんどの場合、GlasswingパートナーがMythosクラスのモデルを自社の（多くの場合プロプライエタリな）ソフトウェアに向けることで発生する。データソース（別名「台帳」）は、Anthropicのオープンソースソフトウェア向け調整済み脆弱性開示プログラム専用だ。つまり、Anthropic自身がMythosクラスのモデルをOSSパッケージに向け、その後で保守者にその旨を通知し、発見事項を共有した場合のものだ。このOSSでの作業は確かに有用だが、修正数は、ボランティアのOSSメンテナーの限られた時間的余裕や、AnthropicがOSSプロジェクトの脅威モデルを知らずに作業している場合があること（脅威モデルは新しいoss-scannerの取り組みで明示的に要求されている）を一部反映している。プロプライエタリソフトウェアでGlasswingを使用した場合の修正率ははるかに高いことが多い。例えば https://blog.cloudflare.com/cyber-frontier-models/ には「Mythos Previewを使った我々の研究は、自社コードに対して制御された環境で実施された。この作業で表面化したすべての脆弱性は、Cloudflareの正式な脆弱性管理プロセスの下でトリアージ、検証され、必要な場合は修復された」とある。
- dfee
curlに関する逸話があるが、ここから結論を導き出すのに十分な情報があるかどうかはわからない。脆弱性の20%が公開されており、その多くは「撤回」または「重複」とマークされている。しかし、残りの80%が修正されていない、または実在しないために公開されていないのかは不明だ。つまり、これは生存者（公開されたもの）の分析であり、まだ embargo 下にあるものについてはあまり言えない。
- sigmar
> これまでに442件のうち野生で悪用されたのはわずか2件、0.45%に過ぎない。
> ほとんど悪用されていない
Glasswingの目的は、悪用されるずっと前に修正することではないのか？ 修正されたコードが迅速に配布されれば、悪意ある者がエクスプロイトを作成・配布する機会（またはインセンティブ）はない。これは、それらを「本物の」脆弱性ではないように見せかけようとする試みのように読める。
- delichon
AIが脆弱性の発見は得意だが修正は苦手という一般的なパターンを示しているなら、それは悪いことだ。その比率が大きいほど、すべてを安全にするのは難しくなる。この実験の現在の統計は37,966対217だ。誤検知は多いが、全体像を変えるほどではない。両側に同等のトークンを与えていないことを願う。そうでなければ、AIは建設よりも破壊の方が得意かもしれない。
- a34729t
投稿の会社の下流にいる者として、AI生成の脆弱性レポートの津波を確認できる。その結果、人間のメンテナーはさらに細く引き伸ばされ、ほとんどのバグは重要ではない。
良い点は、悪用可能性評価への動きだ。システムに脆弱なソフトウェアがあっても、それが実行されていなければ重大ではない。