AIペネトレーションテストベンダー評価チェックリスト：選定時に確認すべき8つの基準

【なぜ重要か】 週次以上の頻度で大規模な変更をリリースする企業が76%に上る一方、全リリースでセキュリティ検証を実施している企業はわずか21%にとどまる（200名のCISOおよび200名のエンジニアリングリーダーへの調査より）。AIペネトレーションテストはこのギャップを埋める手段として注目されているが、「AIペンテスト」という名称のもとで実態が大きく異なる製品が混在しており、デモでは判別しにくい。ベンダー選定時に実際の動作を正しく評価するための基準を把握することが不可欠である。

【ポイント】

• コードアクセスの有無が最大の差別化要因：1,000件超のAIペンテスト実績によると、ソースコードへのアクセスありの場合、なしの場合と比較して高・致命的脆弱性の検出数が中央値で7倍、かつエージェントコストは約半分に抑えられる。
• 検証済みの検出結果（バリデーション）が必須：ファインディングは推論や推測ではなく、実際のシステム上で再現・実証されたものであること。追加トリアージなしに直接対処できるレベルの証拠が伴っていることを確認する。
• スコープ制御はポリシーではなくシステムレベルで実施されること：スコープ外へのアクセスはエージェントへの指示や設定ポリシーではなく、システム自体の技術的ガードレールによってブロックされる必要がある。予測不能な挙動を示す約5%のエージェントへの対処方法をベンダーに明示させることが重要。
• テスト速度とワークフロー適合性：ある金融サービス企業では、手動ペンテスト（120時間・検出ゼロ）と同じアプリに対し、コードアクセスありのAIエージェントが約2時間で13件の有効な問題（うち高深刻度3件）を発見した。オーストラリアの決済企業Tyroでも、人手のペンテスター（15日・5件検出）に対し、AIペンテストが5.5時間で約30件（高深刻度9件）を検出している。
• モデル柔軟性と運用信頼性：単一のAIモデルやプロバイダーに依存しないこと、テストがタスクに応じて複数エージェントを並列活用できること、また監視なしで安定してテストが完了することを確認する。

【まとめ】 「AIペンテスト」と称する製品はデモでは判別しにくいため、各ベンダーに直接プラットフォームアクセスを求め、同一スコープでテストを実施しながら上記8基準（バリデーション品質・テスト深度・可視性・速度・運用信頼性・スコープ制御・セットアップ容易性・モデル柔軟性）を実際の動作に照らして評価することが推奨される。