シークレットスキャニングにおけるトークン効率性の活用：ランダムではなくレア

【なぜ重要か】 シークレットスキャニングにおいて、従来のエントロピーベースのフィルタリングは偽陽性が多く実用性に課題がありました。この記事では、より効果的な代替手法としてByte-Pair Encoding（BPE）を活用したトークン効率性という新しいアプローチを提案し、大幅な精度向上を実証しています。

【ポイント】

• エントロピーは文字列のランダム性を測定するが、シークレットに必要なのは「稀少性」の検出であり、自然言語テキストと比較した統計的異常性を捉える必要がある
• BPEトークナイザーを使用したトークン効率性（token_efficiency = 文字列長 / トークン数）により、シークレットのような稀少な文字列は多くの短いトークンに分割され、効率値が低くなる
• CredDataデータセットを用いた評価で、トークン効率性フィルタ（閾値2.5）は精度57.3%・再現率98.6%・F1スコア0.725を達成し、エントロピーフィルタ（精度21.1%・再現率70.4%・F1スコア0.325）を大幅に上回った
• 単語フィルタと組み合わせることで、トークン効率性の精度は80.4%まで向上し、偽陽性を大幅に削減できることを確認
• 実際のシークレット検出において、従来手法の約4倍少ない偽陽性を実現しながら高い再現率を維持

【まとめ】 BPEベースのトークン効率性は、エントロピーに代わるシークレットスキャニングの新しい主要フィルタとして大きな可能性を示しており、既存のツールへの実装検討が推奨されます。