OWASPが生成AIインシデント対応ガイドを公開 (2025年7月31日公開)

2025年7月28日、OWASP生成AIセキュリティプロジェクトは、「生成AIインシデント対応ガイド1.0」を公開した。

本ガイドは、生成AIアプリケーションに関するセキュリティインシデントへの対応方法について、セキュリティ担当者向けにガイドラインとベストプラクティスを提供することを目的としている。このガイドは、OWASP 生成AIセキュリティプロジェクトのCTIイニシアチブが召集した専門家のパネルによって作成されており、特定の生成AIに関する深い知識を前提とせず、一般的なセキュリティ担当者向けに書かれている。

本ガイドでは、「AIインシデント」について、OECDの定義を参照し、以下のように定義している。

AIシステムの挙動または誤作動によって、意図しない、有害な、あるいはリスクを高める結果が生じるあらゆる事象をさすとしている。これには、技術的な故障（例：AIの不具合による自動運転車の事故）、AIに関連するセキュリティ侵害（例：AIが使用する機密データの漏えい）、さらには誤用や社会的に悪影響を及ぼす事例（例：誤情報の拡散やAIによる差別的な判断）などが含まれる。重要な点は、こうしたインシデントの原因または結果において、AI技術が中心的な役割を果たしていることである。

そして、従来のサイバーインシデントと比較して、AIインシデント固有の要素として、以下のような点を挙げている。

・プロンプトの中心性: 従来のソフトウェアがあらかじめ決められたコードの流れに従うのとは異なり、AIシステムは入力プロンプトに大きく左右され、その挙動や出力が劇的に変化する可能性がある。プロンプトインジェクション攻撃は新たな脅威ベクトルであり、悪意あるユーザーが一見通常の入力に見える中に指示を埋め込み、AIシステムに安全ガイドラインを無視させたり、機密情報を漏洩させたり、許可されていない行動を取らせたりすることがある。例えば、攻撃者がAIアシスタントにアップロードする文書内に隠された命令を埋め込むことで、本来の目的を無視させ、隠された命令を実行させることが可能である。悪意のないプロンプトであっても、曖昧な表現、文化的バイアス、想定外のケースへの対応不足などにより、インシデントが発生することがある。さらに、プロンプト自体がAIインシデントにおける「侵害の兆候（Indicator of Compromise）」となるため、セキュリティチームはシステムログやネットワークトラフィックだけでなく、ユーザー入力の言語パターン、表現、内容も分析する必要がある。これにより、自然言語インターフェースそのものが攻撃対象であり、障害点にもなり得るという、従来のコード脆弱性を超えた新たなインシデントカテゴリが生まれる。人間とAIのコミュニケーションにおける解釈性の本質に対応するセキュリティ対策が求められる。 ・確率的生成: AIモデル（特に生成系）は、厳密に決定論的ではない出力を生成する。これにより、攻撃者が存在しなくても予測不能な、あるいは意図しない挙動が発生する可能性がある。例えば、AIチャットボットが「幻覚（hallucination）」を起こし、誤った情報を生成してユーザーを誤解させることがある。これは生成AI特有の失敗モードである。 ・自律性とエージェンシー: 高度なAIシステムやエージェントは、自律的な存在のように行動や意思決定を行うことがある。インシデントには、AIが独自に有害な行動を取ったり、ポリシーに反する決定を下したりするケースが含まれる（例：AIコンテンツフィルターが予期せぬ例外により有害なコンテンツを許可する）。これは、ソフトウェアの「故障」と、意思決定主体による「誤判断」の境界を曖昧にする。 ・データに基づくバイアスや倫理的被害: AIインシデントには、アルゴリズムによるバイアスやプライバシー侵害などの問題が含まれることが多くある。例えば、AIシステムが融資判断において特定の人口集団を差別する場合、それはハッキングや障害ではなくても有害なインシデントである。こうした結果は、単なるバグやマルウェアではなく、データとアルゴリズムに根ざしたものである。 ・複雑性と解釈困難性（ブラックボックス問題）: 多くの高度なAIモデル、特にディープニューラルネットワークは、内部構造が不透明な「ブラックボックス」である。開発者でさえ、特定の判断がなぜ下されたのか、どのように出力が生成されたのかを理解するのが非常に困難である。これにより、AIインシデントの根本原因分析は、従来のサイバー攻撃のデバッグよりもはるかに難しくなる。 ・データ依存性とドリフト: AIモデルは、学習データの品質と代表性に強く依存している。現実世界のデータの統計的性質は時間とともに変化する可能性があり（例：消費者行動の変化、交通パターンの変化）、それによってAIモデルの性能が低下したり、不正確になったりしてインシデントにつながることがある。 ・無制限なリソース消費: 特に生成系の大型AIモデルは、計算資源、メモリ、エネルギーの面で非常に高い負荷をかけることがある。インシデントには、AIシステムが予期せず膨大なリソースを消費し（悪意がなくても、あるいはプロンプトインジェクションによる無限ループなどで）、サービス停止、クラウドコストの急増、DoS（サービス拒否）状態を引き起こすケースが含まれる。

本ガイドは、以下のような構成になっている。

・イントロダクション -このガイドの対象読者 -ガイドの構成 ・AIインシデントの定義 -AIインシデントの事例 エア・カナダのチャットボットが顧客を誤誘導 MicrosoftのTayチャットボットが暴走 Microsoft Copilotに対する「Echoleak」攻撃 MathGPTのコード実行脆弱性 ChatGPT「オペレーター」エージェントによるデータ漏えい -AIインシデントの定義 AIインシデントとサイバーインシデントの違い AIスタックレイヤごとの診断基準 レイヤ別クイックリファレンスガイド ・対応準備 -リスク評価と管理 AI関連リスクの特定 各リスクの影響評価 リスクマネジメントフレームワークの構築 エンタープライズリスクレジストリへの生成AIリスクの追加 -組織内のAIシステムの把握 AI資産の分類 資産インベントリの作成 AIシステムとサービスのアクセス性 特定されたAIシステムのセキュリティ体制 非人間アイデンティティへの特別な配慮 ネットワーク図 -組織内のAI関係者の把握 関係者の例 責任のマッピング -AIインシデントの検知 コア検知技術 SIEM/SOARへのテレメトリ統合 ダッシュボードとアラート戦略 検知成熟度 -AIインシデントの報告 安全な通信プロトコルの確立 通知手順 広報と危機対応コミュニケーション 内部報告テンプレート -AIインシデントの重大度マトリクス インシデント宣言前に考慮すべき要素 宣言されたインシデントの重大度計算 AIインシデントの重大度に基づくリスクの優先順位付け -対応計画 AIインシデントの影響範囲（ブラスト半径）の定義 対応時間の義務とSLAの定義 -AIインシデント対応チーム -AIセキュリティトレーニング インシデント対応チーム向け 従業員向け ・イベント固有のガイダンス -AIシステムへの攻撃 攻撃の種類 検知と分析 封じ込め、排除、復旧 インシデント後の活動 -サプライチェーンへの攻撃 攻撃の種類 検知と分析 封じ込め、排除、復旧 インシデント後の活動 -サードパーティモデルプロバイダーへの攻撃 63 攻撃の種類 検知と分析 封じ込め、排除、復旧 インシデント後の活動 ・附表 AIインシデント対応の役割 -AIインシデント対応における追加の役割 -物理AIインシデント対応における追加の役割 ・附表 物理AI -定義 -該当分野 -潜在的な問題 -潜在的な結果 ・追加リソース OWASP GenAI Security Project OWASP AI Exchange 政府および公式リソース その他のTTP、リスク、脆弱性の参考資料 インシデントリポジトリ ・参考文献 ・謝辞 ・OWASP GenAI Security Project スポンサー ・プロジェクト支援者

（参考文献） ・OWASP GenAI Security Project, ” GenAI Incident Response Guide 1.0”, July 28, 2025. https://genai.owasp.org/resource/genai-incident-response-guide-1-0/ ・OWASP GenAI Security Project https://genai.owasp.org/ Organisation for Economic Co-operation and Development (OECD), “Defining AI incidents and related terms”, May 6, 2024 https://www.oecd.org/en/publications/defining-ai-incidents-and-related-terms_d1a8d965-en.html

笹原英司 https://www.linkedin.com/in/esasahara/ 旧労働省（現厚生労働省）労働基準監督官を経て、デジタルマーケティング全般（B2B／B2C）および健康医療／介護福祉／ライフサイエンス業界のガバナンス／リスク管理関連調査研究／コンサルティングに従事する 現在は、クラウドセキュリティアライアンス、在日米国商工会議所、在日デンマーク商工会議所などで、スタートアップ企業支援活動を行っている。 千葉大学大学院医学薬学府博士課程修了（博士・医薬学） Eiji Sasahara, Ph.D., MBA After serving as a Labor Standards Inspector at the former Ministry of Labour (now the Ministry of Health, Labour and Welfare), engaged in various areas, including digital marketing (B2B/B2C) and research, studies, and consulting related to governance and risk management within the healthcare, nursing, welfare, and life sciences industries. Currently, get involved in supporting startup companies through organizations such as the Cloud Security Alliance, the American Chamber of Commerce in Japan, and the Danish Chamber of Commerce in Japan. Hold a Ph.D. in Medical and Pharmaceutical Sciences from the Graduate School of Medical and Pharmaceutical Sciences, Chiba University.