既知のCVEを再発見できるか？13のAIモデルをベンチマーク比較

【なぜ重要か】 AIモデルをコードセキュリティレビューに活用する動きが広がる中、「どのモデルが実際の脆弱性を発見できるのか」「コストに見合った効果があるのか」は現場のエンジニアやセキュリティ担当者にとって切実な問いである。本記事はAikido SecurityがGitHub Advisory Databaseから抽出した26件の既知CVEを用い、OpenAI・Anthropic・xAI・Google・オープンウェイトを含む13モデルを同一ハーネス上で実測した結果を報告している。

【ポイント】

• 最高スコアはGPT-5.6（26件中23件、再発見率88.5%）。次いでgrok-4.5（20件）、Claude Opusシリーズ（15〜18件）。オープンウェイトのGLM-5.2も16件（59%）と商用モデルの中位に匹敵する水準まで追い上げている。
• 「明らかな危険な操作への入力」パターンは全モデルが正解。デシリアライゼーションRCEや格納型XSSなどCritical CVEは13モデル全てが発見しており、能力差はゼロ。モデル間で差がつくのは「存在しないはずのチェックが抜けている」「複数ファイルにまたがる長い間接的なチェーン」を追跡する推論力が必要なケース。
• 1回の実行より複数回のプール（pass@3）が効果的。同じモデルでも実行ごとに検出するCVEのサブセットが異なるため、3回実行して結果を統合すると発見数が大幅に増加する（例：gpt-5.4-nanoは1回最大13件→3回プールで18件）。gpt-5.4-nano×3回（約170ドル）はフラッグシップモデルの1回実行の平均発見数に匹敵し、コストは大幅に低い。
• 最上位の推論レベル（xhigh/max）が常に有効とは限らない。gpt-5.5（+3件、コスト1.5倍）とGLM-5.2（+3件、コスト1.3倍）では費用対効果が高いが、gpt-5.6-terraは同じ23件のままコストが2.2倍になるなど、最高設定が割に合わないケースも多い。
• ハーネスの設計が発見精度を左右する。本ベンチマークはチャット形式ではなく、エントリポイントのスカウト→疑わしいフローの深掘り→トリアージという監査プロセスを模したAIコード解析ハーネス上で実施。モデルに「どこを見るか」を正しく指示できる仕組みが前提となっている。

【まとめ】 高価なフラッグシップモデルへの1回の問い合わせより、中位モデルを複数回実行して結果をプールする戦略の方が、コストを抑えながら同等以上の脆弱性発見数を達成できる。セキュリティ担当者はモデル選定の前に「pass@3戦略の採用」と「専用解析ハーネスの整備」を優先的に検討すべきである。