連鎖 するプロンプトインジェクションとは? 会話・データ・エージェントをまたぐ攻撃と対策
LLM セキュリティ プロンプトインジェクション AI エージェント
目次
プロンプトインジェクションというと、1回の入力で LLM に指示を無視させる攻撃を思い浮かべがちです。しかし実際には、無害に見えるやりとりを何度も重ねて少しずつ制約を外したり、LLM が読み込むデータを経由して指示を送り込んだり、複数の AI エージェントの間で指示が次々に伝わったりと、攻撃が段階的・連鎖的に広がる形があります。
この記事では、こうした「連鎖する」プロンプトインジェクションを3つの型に分け、研究と OWASP の資料をもとに仕組みと対策を解説します。なお、以前の記事ではこれを「Chain Reaction Attacks(連鎖反応攻撃)」と呼んでいましたが、これは OWASP などで定義された用語ではありません。この記事では、研究で使われている名前(マルチターンのジェイルブレイク、間接的なプロンプトインジェクション、Prompt Infection など)に沿って説明します。
連鎖するプロンプトインジェクションとは
プロンプトインジェクションは、LLM への入力に紛れ込ませた指示によって、LLM の動作や出力が意図しない形に変えられてしまう脆弱性です。OWASP の「Top 10 for LLM Applications 2025」では最初の項目「LLM01:2025 Prompt Injection」に挙げられています。基本的な仕組みはプロンプトインジェクションの解説で紹介しています。
LLM がメール送信、検索、ファイル操作、ほかのエージェントへの依頼などの機能を持つようになると、1回のプロンプトインジェクションが、次の処理や別のシステムへの足がかりになります。Brodt、Schneier らの論文「The Promptware Kill Chain」 は、プロンプトインジェクションが単発の入力操作から、侵入、権限の拡大、偵察、永続化、横展開といった複数の段階を持つ攻撃へと変わってきたと指摘しています。同論文は、本番環境の LLM システムに関する36件の研究や事例を分析し、少なくとも21件が4段階以上にわたる攻撃だったとしています。
仕組みと攻撃の例
1. 会話を重ねて少しずつ制約を外す(マルチターン)
最初は一般的な質問から入り、LLM 自身の応答を引用しながら少しずつ話題を進めて、最終的に本来は断られる内容を出力させる手口です。Microsoft の研究者らが USENIX Security 2025 で発表した「Crescendo」は、一つひとつのやりとりは無害に見える会話で、複数の主要な LLM の安全対策をすり抜けられることを示しました。
1回ごとの入力だけを見て判定する仕組みでは、個々の発言に問題がないため見逃しやすくなります。OWASP の「LLM Prompt Injection Prevention Cheat Sheet」も、会話の早い段階で仕込んだ取り決めを後で使う手口や、会話の履歴・記憶(メモリ)を使って指示を持ち越す手口を、複数回のやりとりにまたがる攻撃として挙げています。
2. 読み込むデータを経由して広がる(間接的なプロンプトインジェクション)
攻撃者が LLM に直接入力しなくても、LLM が読み込むウェブページ、メール、文書、コードのコメントなどに指示を仕込んでおけば、それを処理した LLM の動作を変えられます。Greshake らの論文「Not what you've signed up for」は、このような間接的なプロンプトインジェクションを示し、影響としてデータの窃取や、指示が自分自身を複製して広がる「ワーム」のような動きを挙げています。
たとえば、メールを要約して返信の下書きを作るアシスタントが、受信したメールに仕込まれた指示に従い、ほかの宛先へのメールにも同じ指示を書き込んでしまえば、指示は次の受信者のアシスタントへと伝わっていきます。
3. 複数のエージェントの間で伝わる(Prompt Infection)
役割を分けた複数の LLM エージェントが協力して処理するシステムでは、あるエージェントの出力が別のエージェントの入力になります。Lee と Tiwari の論文「Prompt Infection」は、外部の文書な どから入り込んだ悪意のある指示が、エージェントの間で自分自身を複製しながら伝わっていく攻撃を示しました。文書を読むエージェント、データベースを扱うエージェント、コードを実行するエージェントがつながった構成では、最初の1体が受けた指示が、コードの実行やデータベースへのアクセスといった別の機能を持つエージェントにまで届くおそれがあります。同じ論文では防御として、各エージェントの出力に送り手を示す目印を付ける「LLM Tagging」を提案していますが、それだけでは効果が小さく、ほかの対策との組み合わせが必要だとしています。
OWASP の「AI Agent Security Cheat Sheet」も、侵害されたエージェントがほかのエージェントへ攻撃を広げる「連鎖的な障害(Cascading Failures)」を主要なリスクの一つに挙げています。
起こりうる被害
連鎖する攻撃では、最初の入力そのものは小さな影響しか持たなくても、LLM がつながっている機能や権限の分だけ被害が広がります。
会話や連携先のデータ、システムプロンプトなどの機密情報の漏えい
LLM が呼び出せる機能(メール送信、ファイルの変更・削除、外部 API の呼び出しなど)の不正な実行
記憶(メモリ)や検索対象のデータに指示が残り、後の会話やほかの利用者にまで影響が続くこと
ほかのエージェントやシステムへの横展開
OWASP は、LLM に必要以上の機能・権限・自律性を与えることを「LLM06:2025 Excessive Agency(過剰な代理権)」として別のリスクに挙げています。連鎖する攻撃の被害の大きさは、多くの場合この過剰な代理権で決まります。
対策
プロンプトインジェクションを LLM の側だけで確実に防ぐ方法はありません。そのため、指示が入り込むことを前提に、「入り込んでも次の段階へ進ませない」設計が中心になります。
権限と機能を最小限にし、認可は LLM の外で行う
LLM やエージェントが使える機能は必要なものだけにし、何でもできる汎用的な機能(任意のコマンド実行など)ではなく、用途を絞った機能を用意する。
連携先には、利用者本人の権限の範囲で、必要最小限のスコープを持つトークンでアクセスする。
操作が許されるかどうかは、LLM の判断ではなく、連携先のシステム側で毎回確かめる。
影響の大きい操作の前に人が確認する
送信、削除、設定変更、購入のような操作は、実行前に内容を示して人が承認する仕組みにします。OWASP の AI Agent Security Cheat Sheet は、承認を操作の内容・対象・実行者に結び付け、承認後に内容が差し替えられないようにする ことも勧めています。
信頼できない内容とエージェント間のやりとりを区別する
外部から取り込んだウェブページや文書は、指示ではなくデータとして区別して扱う。
エージェント間で受け渡す内容を検証し、受け取った側で送り手の権限を確かめてから実行する。
LLM の出力は信頼できない入力として扱い、次の処理に渡す前に検証する(LLM の不適切な出力処理を参照)。
記憶と会話をまたぐ影響を抑える
記憶(メモリ)に保存する前に内容を検証し、利用者やセッションごとに分け、保存期間を限る。
入力の判定は1回ごとの発言だけでなく、会話の流れも踏まえて行う。
記録と監視
エージェントの判断、呼び出した機能、その結果を記録し、通常と異なる動きを検知できるようにします。処理の繰り返し回数や利用量に上限を設けておくと、暴走したときの影響を抑えられます。
診断で確かめること
LLM を組み込んだアプリケーションやエージェントの脆弱性診断では、1回の入力だけでなく、攻撃が次の段階へ進めるかどうかを確かめます。
複数回のやりとりを重ねることで、システムプロンプトの制約をすり抜けられないか
LLM が読み込む文書、メール、ウェブページに仕込んだ指示で、動作を変えられないか
LLM が呼び出せる機能に、利用者本人の権限を超える操作や、確認なしで実行される影響の大きい操作がないか
あるエージェントや会話で入り込んだ指示が、ほかのエージェント、記憶、ほかの利用者に引き継がれないか
まとめ
プロンプトインジェクションは、会話を重ねる、読み込むデータを経由する、エージェントの間で伝わる、といった形で段階的・連鎖的に広がることがあります。
被害の大きさは、LLM に与えた機能や権限、自律性で決まることが多く、OWASP は過剰な代理権を別のリスクとして挙げています。
指示が入り込むことを前提に、権限の最小化、LLM の外での認可、人による確認、信頼できない内容の区別、記録と監視を組み合わせて、次の段階へ進ませない設計にします。
参考資料
OWASP Top 10 for LLM Applications 2025「LLM01:2025 Prompt Injection」
OWASP Top 10 for LLM Applications 2025「LLM06:2025 Excessive Agency」
Brodt, Feldman, Schneier, Nassi「The Promptware Kill Chain」(arXiv:2601.09625)
新しい記事 Base64・アスキーアート・見えない文字を使うプロンプトインジェクションとは? 仕組みと対策
前の記事 LLM の不適切な出力処理(Improper Output Handling)とは? 仕組みと対策をわかりやすく解説
Contact
お問い合わせ
サービスのご相談、協業のご提案、取材のご依頼など、お気軽にご連絡ください。
Recruit
採用情報
セキュリティで社会の発展を支える仲間を募集しています。まずはカジュアル面談から。
