117億トークンを消費して判明した：サイバーセキュリティAIモデル最強ランキング

【なぜ重要か】 AIを活用した脆弱性検出の精度とコストは、モデル選定だけでなくその「使い方」によって大きく変わる。Aikido Securityが10モデル・各3回実行・計32件の未公開CVEを用いた大規模ベンチマークを実施し、オープンソースモデルがクローズドフロンティアモデルに匹敵あるいは凌駕することを実証した。セキュリティ担当者・開発者がAIコード解析ツールのモデル選定やコスト最適化を判断する上で直接参考になるデータが揃っている。

【ポイント】

• プール実行でリコールが大幅向上：同一モデルを複数回実行して結果を統合することで、発見数が劇的に増加する。DeepSeek V4 Pro 0813は1回目の実行で17件しか発見できなかったが、3回分を統合すると32件中28件を検出し、全モデル中最高のリコール（再現率）を達成した。
• コストと性能のトレードオフが逆転：DeepSeek V4 Pro 3回分の合計コストは約295ドルで、Opus 5・Grok 4.6・Solの1回あたり約450〜590ドルを下回りながらより多くの脆弱性を発見。DeepSeek Flash 3回分はわずか108ドルでGrokの最良1回実行と同等の24件を検出した。
• 一貫性ではGrok 4.6がトップ：Grokは32件中26件を発見し、そのうち21件を全3回で安定して検出。DeepSeek Proが広範囲を探索する一方で再現性が低い（3回共通は10件）のとは対照的に、Grokは見つけた脆弱性を高い再現率で繰り返し発見できる。
• オープンウェイトモデルがフロンティアに追いついた：GLM-5.3はSolと同等の25件を検出しながらコストは65.5％安価で、Opus 5より1件少ないだけだが69.8％安い。Qwen3.8-MaxはOpus・Grokと同等のpass@3リコールを達成。ただし、オープンモデルはクローズドモデルより誤検知（フォールスポジティブ）が多く、後段のフィルタリング負荷が増す点に注意が必要。
• モデルごとの調査挙動に顕著な差異：DeepSeek Proは30ターン上限中の中央値24ターンを使用し最も積極的に探索。Qwenは既にパッチ済みの過去CVEを参照する「デジャヴ」現象を95/96回のトレースで示し、調査バジェットの一部を浪費したものの変異脆弱性分析に近い動作を自律的に実行した。Kimiは中央値12ターンと最も短い探索プロファイルで92.3%の高精度を維持した。

【まとめ】 「最高のモデル」ではなく「どのモデルをどの役割に配置するか」が問いの本質。高価なモデルを1回実行するより、効率的なモデルを複数回実行して結果を統合する方が、コストあたりの脆弱性カバレッジを高められる。ただし誤検知の増加を後段パイプラインで処理する設計が必要であり、ハーネス設計の巧拙が性能を左右する。Aikidoの「Code Security Audit」や「Aikido Attack」はこのアプローチを実装済みであり、自社環境への適用を検討する価値がある。