top of page

トップ / コラム / LLM の不適切な出力処理(Improper Output Handling)とは? 仕組みと対策をわかりやすく解説

Column

コラム

LLM セキュリティ公開日 2024.12.18 更新日 2026.10.06

LLM の不適切な出力処理(Improper Output Handling)とは? 仕組みと対策をわかりやすく解説

LLM セキュリティ OWASP XSS

目次

  1. LLM の不適切な出力処理とは

  2. 仕組みと攻撃の例

  3. 起こりうる被害

  4. 対策

  5. 診断で確かめること

  6. まとめ

LLM を組み込んだアプリケーションでは、LLM が生成した文章やコードを、画面に表示したり、データベースへの問い合わせやシェルのコマンドに使ったり、別のシステムに渡したりします。このとき、LLM の出力を検証やエスケープをせずにそのまま使うと、クロスサイト・スクリプティング(XSS)や SQL インジェクション、リモートコード実行といった従来型の脆弱性が生まれます。

OWASP の「Top 10 for LLM Applications 2025」は、このリスクを「LLM05:2025 Improper Output Handling(不適切な出力処理)」として挙げています。2023年版では「LLM02: Insecure Output Handling」という名前でした。この記事では、OWASP の整理をもとに、仕組みと被害の例、対策、診断で確かめる点を解説します。

LLM の不適切な出力処理とは

OWASP は Improper Output Handling を、LLM の出力を後段のコンポーネントやシステムに渡す前に、十分に検証・無害化・管理していないことと説明しています。LLM の出力はプロンプトによって左右できるため、出力をそのまま使うことは、利用者に後段の機能への間接的なアクセスを与えるのと同じことになります。

ここでの問題は「LLM が誤った内容を答える」ことではなく、「LLM の出力をアプリケーションがどう扱うか」です。出力の正確さを過信する問題は別のリスクとして扱われており、この項目は後段に渡す前の検証に焦点を当てています。

LLM の出力は、利用者が直接入力した内容だけでなく、LLM が読み込んだウェブページや文書に仕込まれた指示(間接的なプロンプトインジェクション)によっても操作されえます。そのため、「自社の LLM が生成したものだから安全」とはいえません。

仕組みと攻撃の例

OWASP は、よくある例や攻撃シナリオとして次のようなものを挙げています。

LLM の出力の使い方

起こりうる脆弱性

出力をシェルや exec・eval などに直接渡して実行する

リモートコード実行

生成された JavaScript や Markdown を、無害化せずに利用者の画面に表示する

XSS

生成された SQL 文を、パラメータ化せずに実行する

SQL インジェクション

出力をもとに、検証せずにファイルパスを組み立てる

パストラバーサル

生成したメールの文面を、適切なエスケープをせずに使う

フィッシングなどへの悪用

自然言語から生成されたコードを、十分に確認せずに使う

安全でないコードや、実在しないパッケージ名を悪用した不正なパッケージの取り込み

例:チャットの応答をそのまま HTML として表示する

たとえば、LLM の応答を Markdown から HTML に変換し、そのままページに挿入するチャット画面があるとします。

// LLM の応答を HTML として挿入している(危険)
chatLog.innerHTML += renderMarkdown(llmResponse);

攻撃者がプロンプトや、LLM に読ませる文書を工夫して、応答に次のような文字列を含めさせると、閲覧した利用者のブラウザでスクリプトが実行されるおそれがあります。

<img src=x onerror="alert(document.cookie)">

これは通常の XSS と同じ問題で、入力元が「利用者」ではなく「LLM」になっただけです。また、Markdown の画像記法を使って、会話の内容を URL に埋め込んだ画像を外部から読み込ませ、情報を持ち出させる手口も知られています。OWASP は、ウェブサイトの要約ツールがプロンプトインジェクションを受け、機密データを攻撃者のサーバへ送ってしまう例を挙げています。

例:LLM の出力を管理機能に渡す

OWASP が挙げる別の例は、管理用の機能を持つ拡張機能に、汎用の LLM が検証していない応答を渡してしまうチャットボットです。攻撃者は LLM の応答を操作することで、システムの停止のような管理操作を実行させられます。LLM が呼び出せる機能が多く、権限が広いほど、この問題の影響は大きくなります(OWASP の「LLM06:2025 Excessive Agency(過剰な代理権)」も参照してください)。

起こりうる被害

OWASP は、この脆弱性が悪用されると、ブラウザ側では XSS や CSRF、サーバ側では SSRF、権限昇格、リモートコード実行につながりうるとしています。具体的には次のような被害が考えられます。

  • 利用者のブラウザでのスクリプト実行による、セッションの乗っ取りや画面の改ざん

  • データベースの情報の漏えい・改ざん・削除

  • サーバ上での任意のコマンド実行と、それを足がかりにした内部への侵入

  • 会話の内容や機密情報の外部への持ち出し

OWASP は、影響を大きくする要因として、LLM に利用者本人より強い権限を与えていること、間接的なプロンプトインジェクションを受けうること、出力先に合わせたエンコードをしていないこと、LLM の出力の記録と監視が不十分なこと、などを挙げています。

対策

根本的解決:LLM の出力を信頼できない入力として扱う

OWASP が最初に挙げているのは、LLM をほかの利用者と同じように信頼しないこと(ゼロトラスト)です。LLM の出力は、利用者からの入力と同じく信頼できない値として扱い、後段に渡す前に検証します。そのうえで、出力先ごとに従来の対策をそのまま適用します。

  • 画面に表示する:出力先(HTML、JavaScript、URL など)に合わせてエスケープする。Markdown を HTML に変換して表示する場合は、変換後の HTML を無害化し、許可するタグや属性、画像を読み込む先を絞る。

  • データベースに問い合わせる:LLM に SQL 文を丸ごと作らせて実行するのではなく、プレースホルダ(パラメータ化クエリ)を使う。

  • コマンドやコードを実行する:LLM の出力を eval やシェルに渡さない。どうしても必要な場合は、決められた操作だけを許可リストで受け付け、隔離した環境で実行する。

  • ファイルや URL を扱う:出力からパスや URL を組み立てる場合は、許可する範囲を検証する。

OWASP は、入力の検証には OWASP ASVS(Application Security Verification Standard)の考え方を当てはめることも勧めています。出力の形式(たとえば決められた JSON の構造)を指定し、アプリケーションのコードでその形式に合っているかを確かめるのも有効です。

保険的対策:被害を広げない仕組み

  • 厳格な Content Security Policy(CSP)を設定し、万一スクリプトが挿入されても実行されにくくする。

  • LLM が使う API トークンや、呼び出せる機能の権限を必要最小限にし、影響の大きい操作の前には人の確認を入れる。

  • LLM の出力を記録・監視し、通常と異なる出力の傾向に気づけるようにする。

診断で確かめること

LLM を組み込んだアプリケーションの脆弱性診断では、LLM の出力がどこに渡るかを洗い出し、たとえば次の点を確かめます。

  • LLM の応答に HTML や JavaScript、Markdown の画像記法などを含めさせたとき、画面でスクリプトの実行や外部への通信が起きないか

  • LLM の出力が SQL 文、コマンド、ファイルパス、URL の組み立てに使われていないか。使われている場合に、インジェクションが成立しないか

  • LLM が呼び出せる機能に、利用者本人の権限を超える操作が含まれていないか

  • 読み込ませた文書やウェブページに仕込んだ指示によって、上記の問題を引き起こせないか

LLM に関する診断であっても、確かめる内容の多くは従来の Web アプリケーションの脆弱性と共通です。IPA「安全なウェブサイトの作り方」で整理されている対策は、LLM の出力を扱う部分にもそのまま当てはまります。

まとめ

  • LLM の不適切な出力処理は、LLM の出力を検証やエスケープをせずに画面やデータベース、コマンドなどに渡すことで、XSS、SQL インジェクション、リモートコード実行などが生まれるリスクです。OWASP Top 10 for LLM Applications 2025 では LLM05 に当たります。

  • LLM の出力はプロンプトインジェクションによって操作されうるため、利用者からの入力と同じく信頼できない値として扱います。

  • 出力先ごとのエスケープ、パラメータ化クエリ、実行の禁止や許可リストといった従来の対策を当てはめ、CSP や権限の最小化、監視で被害を広げない仕組みを重ねます。

参考資料

新しい記事 連鎖するプロンプトインジェクションとは? 会話・データ・エージェントをまたぐ攻撃と対策

前の記事 Payload Splitting(ペイロード分割)とは? プロンプトインジェクションの手口と対策

コラム一覧へ戻る

Contact

お問い合わせ

サービスのご相談、協業のご提案、取材のご依頼など、お気軽にご連絡ください。

Recruit

採用情報

セキュリティで社会の発展を支える仲間を募集しています。まずはカジュアル面談から。

bottom of page