Cloudflareがセキュリティ監査AIスキルを公開、1回の実行では脆弱性の約半分しか見つからない
Cloudflare/Security-Audit-Skill
Cloudflareが公開したsecurity-audit-skillは、コーディングエージェントをセキュリティ監査者に変えるスキルだ。偵察、カバレッジ主導の探索、候補検証、構造化出力、独立した記録検証、レポート生成の6段階で監査を実行する。発見した脆弱性は必ず別のエージェントが反証を試み、confirmed、needs_validation、rejectedの3つに分類。同一リポジトリへの複数回実行でカバレッジが向上し、テストでは1回の実行で全体の約半分の脆弱性しか見つからなかったという。
複数回の実行でカバレッジが向上する。我々のテスト実行では、1回の実行で見つかった脆弱性は、繰り返し実行で見つかった合計のおよそ半分だった。
HNでの議論
36- gbrindisi
宣伝失礼：これがトークンを使いすぎると感じる人がいるかもしれないので、私たちが社内で独自の監査スキルをどう構築したかのレシピを共有しました。簡単に再現でき、さまざまな環境に合わせて調整できます https://www.synthesia.io/post/automating-code-security-revie...
- prodigycorp
Cloudflareの人たちへ、もしこれを読んでいたら。Cloudflareのスキルを整理してください。プラットフォームにはスキルが多すぎます。すべてのスキルを1つに統合し、すべてをそのスキル経由でルーティングすべきです。現状ではコンテキストウィンドウを汚染しています。
- acedTrex
信じられない、マークダウンファイル1つのために投稿とリポジトリが作られるとは。この分野の凋落はあっという間だった。
- wslh
LLMを使うセキュリティ専門家へのヒント：タスクを明示的にセキュリティ研究として位置づける監査スキルは、悪用を防ぐためにOpenAIやAnthropicのトップモデルからの拒否を引き起こすことがあります。私の場合うまくいくのは、セキュリティの枠組みなしでバグクラス（および一般的なバグ）用のスキルを分離し、さらにその発見を組み合わせてセキュリティバグを特定する別のスキルを用意することです。
- tonymet
スキルとプロンプトの違いは何？ファイルが別々なだけ？トークンはトークンじゃないの？