デジタル庁が2026年6月12日に決定した生成AI調達・利活用ガイドライン第2.0版を読む。プロンプトインジェクション対策の明記は前進だが、リスク判定の実務上の分岐点は「人間が出力を見るか」。ハルシネーションを恐れて人間を全件レビューに立たせれば人間がボトルネックになり、外せばAIが権限境界を越える。必要なのは人間をコーチボックスに置くこと——Human at the right loopである。
2026年6月12日、デジタル庁が「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン（第2.0版）」を決定した。プロンプトインジェクション（直接・間接）やDoS攻撃への対策、RAGの権限管理、ログ取得が明記された。生成AIを「攻撃対象になり得る情報システム」として扱う視点が入ったのは前進だ。
だが読み終えて残る結論はひとつ。このままスケールさせると、最後に詰まるのはAIではなく人間だ。
高リスク判定は3軸。A：業務の性格、B：利用範囲、C：出力を人間が判断してから使うか。実務上の分岐点になりやすいのがCだ。ガイドライン自身の判定例では「職員の確認を経ない自動返信メール」は高リスク。つまり、人間が見ない＝高リスク。
Human in the loop自体は正しい。行政がAIの出力をそのまま国民向け回答、行政判断、記録作成、意思決定に使うなら危険だ。人間の確認を入れるべき場面は当然ある。
問題は、人間を入れることではない。問題は、どの粒度で人間を入れるかである。
調達チェックシート33項目の検証方式は「指針に対応していることの宣言が可能であること」「技術を有していることを表明し保証する」。自己申告を人間が書類で読む。ここでもループの中身は紙と人間だ。必要なのは宣言ではなく、再現可能な検証——プロンプトインジェクション耐性テスト、RAGのアクセス制御テスト、ログの再現性テストである。
ガイドライン全体を縛っているのは、ハルシネーションへの恐怖だ。
生成AIが事実と違うことを言う。職員がそれを信じる。国民への回答や行政判断に使われる。だから危ない。ここまでは正しい。
だからガイドラインは、人間をループに入れようとする。AIの出力を人間が読む。確認する。修正する。問題がないと判断してから使う。
だが、この設計をそのまま広げると、人間がグラウンドに降りて、1つひとつのプレーに関与することになる。
AIが文章を作るたびに、人間が読む。 AIが回答案を出すたびに、人間が止める。 AIが処理を進めるたびに、人間が確認する。
これでは、人間がボトルネックになる。
AIが速くなればなるほど、人間の確認待ちが増える。AIで効率化したはずなのに、最後は確認作業の山になる。ハルシネーションを恐れるあまり、人間を全件レビューの前線に立たせてしまう。ここが、このガイドラインの一番危ういところだ。
ただし、だからといって人間を外せばよいわけではない。
つまり問題は、「人間を入れるか、外すか」ではない。 人間をどのループに置くかである。
むしろ本当に怖いのは、人間がいないところでAIが勝手にプレーすることだ。
AIが間違えるだけなら、まだ止められる。だがAIが、見てはいけない情報を見て、やってはいけない処理まで進めると、問題は一段深くなる。
人間に機密情報を話しても、その人の記憶をそのままコピーすることはできない。記憶は曖昧になり、忘れられ、取り出すには本人に聞くしかない。もちろん情報漏えいのリスクはあるが、情報は人間の頭の中に閉じている。
しかしAIに渡した情報は違う。プロンプト履歴、ログ、RAGのインデックス、外部ツール連携、評価データ、場合によっては学習データとして残り得る。一度AIシステムに入った情報は、人間の会話のようには消えない。検索でき、複製でき、別の処理に再利用できてしまう。
つまり、AIに情報を渡すということは、単に「誰かに話す」ことではない。情報を、コピー可能なシステムの中に置くということだ。
だから、問題はハルシネーションだけではない。 AIが、権限境界を越えてプレーしてしまうことが問題なのだ。
職員本人には閲覧権限のない文書でも、AIがRAGで読めてしまえば、AIはその内容を要約して返してしまう。職員は直接アクセスしていないのに、結果として機密情報を読めてしまう。
外部から受け取ったPDFやメールに悪意ある指示が埋め込まれていれば、AIはそれを「命令」と誤解し、本来のルールを無視するかもしれない。これが間接プロンプトインジェクションである。
さらにAIエージェントでは、被害は回答ミスで止まらない。「下書きして」と頼んだだけなのに、AIがメール送信や申請処理まで実行してしまう可能性がある。読む、要約する、下書きする、送信する、承認する——これらは本来すべて別の権限である。
つまり危ないのは、AIが嘘をつくことだけではない。AIがチームプレーのルールを無視し、権限境界を越えて、正しそうな顔で情報を出し、処理まで進めてしまうことだ。
しかも監査ログ上は「正規ユーザーが正規の操作をした」ように見える。これはモデルの問題ではない。認可と監査の問題であり、AIサプライチェーン以前に「AI利用チェーン」の設計の問題だ。
2.0版はAIエージェントに統制を1つ入れた。出力を判断せず実行するエージェントを作成したら、提供者やCAIOに報告せよ——申告制だ。報告は事後の統制であり、必要なのは実行前の制御である。人間の代理で動くAIに、権限をまとめて渡してはいけない。
処方箋は3つに尽きる。
ラグビーで言えば、いまの設計は、ハルシネーションを恐れて人間を全員グラウンドに降ろし、1つひとつのプレーにタックルさせる守備に近い。
AIが出力するたびに、人間が止める。 AIが判断らしきものをするたびに、人間が確認する。 AIが処理するたびに、人間が介入する。
これでは試合が進まない。人間がボトルネックになる。
だが逆に、人間が見ていないところでAIに自由にプレーさせるのも危ない。AIは組織上の役割や権限を当然には理解せず、権限境界を越えてボールを運んでしまうかもしれない。読んではいけない情報を読み、やってはいけない処理を進めるかもしれない。
だから必要なのは、人間をグラウンドから外すことではない。人間を正しい場所に置くことだ。
人間が立つべき場所は、すべての接点ではない。コーチボックスだ。
守備システムを設計する。 どのAIに、どの情報を見せるのかを決める。 どの処理は自動化してよいのかを決める。 どこを越えたら止めるのかを決める。 試合——つまりログとサンプリング監査——を観察する。 どこで抜かれたのか、どの種類の入力が危ないのか、どの権限設計が甘いのかを読み、システムを修正する。
プレー単位の細かいチェックは、できる限り機械に任せる。入力を検証する。権限を確認する。外部データを命令として扱わない。境界をまたぐ出力は止める。
人間は最後に見るのではない。人間は、全体を俯瞰するのだ。
AIは細部に強い。速く、正確で、疲れない。だが、全体を俯瞰し、優先順位を決め、システムそのものを疑う役割は、まだ人間の仕事である。
Human at the right loopとは、人間を「個々の出力を確認するループ」ではなく、「全体を俯瞰し、設計を改善するループ」に置くということである。
これは、セキュリティ全体にも通じる。個々の脆弱性検知やアラート処理は、できる限り機械に任せる。人間が見るのは、検知の抜け方、設計の弱さ、優先順位、そして次にどこを直すべきかである。
本コミュニティで扱っているAikidoの三層防御とも同じ構図だ。人間が見るのは、個々のアラートではなく、守り方そのものなのである。
参考リンク
Aikido Community Japan
公開日: 2026/6/12
最終更新: 2026/6/12
セキュリティの最新情報をお届けします。