curl に6件のCVEを発見したAISLE、OpenAIとAnthropicはゼロ
Six curl CVEs after OpenAI and Anthropic came back with zero
AISLEは、curlのコードベースを分析し、6件のCVE（すべて低深刻度）を発見しました。これは、OpenAIのCodex SecurityとAnthropicのMythosがcurlに対してゼロ件の報告をした直後のことです。curlの創設者ダニエル・ステンバーグは、公開された比較で「Mythos: 0、AISLE: 29」と述べ、29件の報告のうち6件がCVEとして認定されました。これらの脆弱性はcurl 8.22.0で修正され、AISLEのStanislav Fortが報告者としてクレジットされています。LinuxのメンテナーであるGreg Kroah-Hartmanも、Linuxカーネルで同様のパターンを確認しています。
「Linuxでも同じ現象を目にしている。AISLEが何を違うやり方でしているのかは分からないが、すごい。」
HNでの議論
50- melvinroest
この発表は、優れたコンテンツマーケティングですね。
誤解しないでほしいのですが、興味深いです。しかし、彼らがどうやってそれを成し遂げたかについての技術的な議論はありません。単に「私たちはやりました。MythosとCodexはできませんでした」というだけです。
それが可能だと知るのは良いことですが、私はすでにそれを予想していたでしょう。ベースモデルと、ベースモデル+ハーネス+その他何かを比較すれば、そうです、正しくやれば、脆弱性を見つけるより良いシステムができるでしょう。
> その後、AISLEの自律型AIシステムをcurlに対して実行しました。
彼らは内部でどのモデルを使っているかさえ言及していません。AnthropicやOpenAIのものだとしても驚きません。
- rwmj
AISLEが生成したセキュリティレポートをいくつか受け取りましたが、シグナルとノイズの比率はかなり良好でした。
彼らのスキャナーが見つけた最も注目すべきバグ/エクスプロイトはこれです：https://gitlab.com/nbdkit/libnbd/-/commit/e50bbd2681117c2dd8...
このツールは基本的に、この脆弱性に到達するために2つのエクスプロイトを連鎖させる必要がありました。また、修正のためのパッチも提案してきましたが、それはかなり妥当なものでした（ただし、明確さのために最終的にはさらに編集しました）。
- graemep
curlは、AIが脆弱性を見つけるデモをするためのお気に入りのターゲットの一つになりつつあるようです。
curlは最終的に信じられないほど安全になるでしょう。
- markasoftware
AISLEが29件の問題を報告したが、CVEに値するのは6件だけで、見つかったCVEはすべて「低」深刻度だったので、AISLEはAnthropicやOpenAIのツール（同じ6件を見つけたが報告しないことにしたかもしれない）よりも単に偽陽性率が高くなるように調整されているのではないかと思わせます。
- blmarket
私も、ある種のバグを見つけるための秘密のレシピを持っています：https://github.com/tmux/tmux/issues?q=is%3Apr%20author%3Ablm...
彼らがtmuxに対してAISLEを実行して、私のものよりも多くのバグを見つけることをいとわないのは興味深いです。