プロンプトインジェクションの進化 従来の攻撃は「命令を直接上書きする」単純なものでしたが、モデルの進化に伴い、現在は「ソーシャルエンジニアリング（嘘や誘導）」を用いてAIを騙す高度な手口へと変化しています。外部サイトに仕込まれた「偽の指示」をAIが信じ込み、ユーザーの意図しない行動（情報の外部送信など）を取らされるリスクが高まっています。

「入力フィルタリング」の限界 「AIファイアウォール」のような中間層で悪意ある入力を検知する手法だけでは、巧妙に文脈に紛れ込んだ嘘を見抜くのは困難です。そのため、防御の考え方を「入力を完璧に防ぐ」ことから、「攻撃が成功しても被害を最小限に抑えるシステム設計（制約）」へとシフトさせる必要があります。

「人間」をモデルにした多層防御 OpenAIは、AIエージェントを「人間のカスタマーサポート担当者」に見立てて設計することを推奨しています。

権限の制限: 人間の担当者に返金限度額などのルールがあるように、AIが扱えるツールや権限に制限を設け、侵害時の被害範囲（ブラストレイジアス）を抑えます。
性悪説に基づく設計: 外部と接触する以上、エージェントは「騙される可能性がある」ことを前提にシステムを構築します。

具体的な技術対策：Source-Sink分析とSafe URL 攻撃の成立には「信頼できない情報源（Source）」と「危険なアクション（Sink）」の組み合わせが必要です。ChatGPTでは、会話内の機密情報が外部の第三者URLへ送信されそうになった際、それを検知してユーザーに確認を求める、あるいはブロックする「Safe URL」という仕組みを導入しています。

エンジニアへのアドバイス 自律型エージェントを開発する際は、「同様の状況で人間に仕事を任せるなら、どのような制限を課すか？」を考えることが重要です。モデルの賢さに依存するのではなく、従来のセキュリティエンジニアリングの手法をAIシステムに適用することが、安全なエージェント運用の鍵となります。

youtube版(スライド付き)

関連リンク

株式会社ずんだもん技術室AI放送局 podcast 20260312