top of page

トップ / コラム / 非自然言語のプロンプトインジェクションは防げるか — 14種類の LLM で評価した共同研究の解説

Column

コラム

LLM セキュリティ公開日 2025.10.25 更新日 2026.10.06

非自然言語のプロンプトインジェクションは防げるか — 14種類の LLM で評価した共同研究の解説

LLM セキュリティ プロンプトインジェクション 研究

目次

  1. プロンプトインジェクションと「非自然言語」の攻撃

  2. 論文が評価した4つの手口

  3. 評価の方法

  4. 結果

  5. 論文で提案した防御

  6. LLM を組み込むサービスを守るために

  7. 論文の情報

大規模言語モデル(LLM)を組み込んだサービスが増える一方で、LLM に本来の指示や安全上の制約を無視させる「プロンプトインジェクション」への対策が課題になっています。

クラスメソッドセキュリティ(旧社名 サイバーマトリックス)は、北陸先端科学技術大学院大学(JAIST)のベウラン研究室と共同で、自然な文章ではない入力を使ったプロンプトインジェクションについて研究しています。その成果を、2025年10月26日にイタリア・ボローニャで開かれた国際ワークショップ SPAIML 2025(Security and Privacy-Preserving AI/ML)で論文「Experimental Evaluation of Non-Natural Language Prompt Injection Attacks on LLMs」として発表しました。

この記事では、論文の内容をもとに、非自然言語のプロンプトインジェクションとは何か、主要な LLM がどの程度防げたか、どのような防御が考えられるかを解説します。

プロンプトインジェクションと「非自然言語」の攻撃

プロンプトインジェクションは、LLM への入力(プロンプト)に悪意のある指示を紛れ込ませ、安全対策をすり抜けて有害な出力や意図しない動作を引き起こす攻撃です。OWASP の「Top 10 for LLM Applications」でも、最初の項目(LLM01)に挙げられています。

これまでの攻撃や防御の多くは、ロールプレイを装う、前の指示を無視させるといった「自然な文章(自然言語)」による手口を対象にしてきました。これに対して論文が扱ったのは、符号化された文字列、記号で描いた文字、意味をなさない文字列など、自然な文章ではない入力を使う攻撃です。論文ではこれを「非自然言語(Non-Natural Language、Non-NL)プロンプトインジェクション」と呼んでいます。

文章の意味を手がかりに有害な依頼を見分ける仕組みは、こうした入力に対して働きにくいという問題があります。

論文が評価した4つの手口

  • 文字列の符号化(Base64):指示を Base64 などで符号化し、文章として読めない形にして安全対策をすり抜けようとする手口です。

  • 記号で描いた文字(アスキーアート):有害な語を記号の組み合わせで「絵」として描き、文字としての検出を避ける手口です。

  • 指示の分割(ペイロード分割):それだけでは無害に見える断片をいくつも渡し、LLM 自身に組み立てさせて有害な指示にする手口です。

  • 敵対的な接尾辞(アドバーサリアル・サフィックス):意味をなさない文字列を依頼の末尾に付け、拒否ではなく応答を返しやすくする手口です。最適化によって作られ、別のモデルにも効くことが知られています。

評価の方法

評価手法の概要:自然言語のプロンプトに4種類の攻撃関数(base64、ascii_art、adv_suffix、payload_split)を適用して非自然言語のプロンプトを作り、LLM に入力して応答を評価する
評価手法の概要(論文 Figure 1。Nguyen et al., 2025, CC BY 4.0)

公開されている有害な指示のデータセット(AdvBench)から10件を選び、4つの手口それぞれで変換して、40件の攻撃プロンプトを作りました。これを14種類の LLM に入力し、応答を人の目で次の5つに分類しています。

  • 有害(Harmful):有害な情報を含む

  • 不明確(Unclear):依頼に関係はあるが、有害な情報は直接含まない

  • 無関係(Unrelated):依頼と関係のない応答

  • 拒否(Refusal)

  • 理由つきの拒否(Refusal w/ Reasoning)

このうち、拒否されなかったもの(有害・不明確・無関係)を「攻撃が安全対策をすり抜けた」として数えています。つまり、ここでいう攻撃の成功には、有害な出力だけでなく、LLM が指示を理解できずに無関係な応答を返した場合も含まれます。

評価したのは、Claude 3.7 Sonnet、Gemini 2.0 Flash、Gemini 1.5 Flash 8B、Gemma 2 9B、o4-mini、o3-mini、GPT-4.1、ChatGPT-4o、GPT-3.5 Turbo、GPT-4、Llama-3-8B-Instruct、Llama-2-7b-chat、Grok 3、Mistral-7B-Instruct の14種類です。実験は2025年4月から6月にかけて行いました。

結果

手口ごとの、全モデルでの平均の攻撃成功率は次のとおりでした。

手口

平均の攻撃成功率

文字列の符号化(Base64)

0.46

記号で描いた文字(アスキーアート)

0.45

指示の分割(ペイロード分割)

0.52

敵対的な接尾辞

0.38

モデルごとの主な傾向は次のとおりです。

  • Claude 3.7 Sonnet は、評価したほとんどの攻撃プロンプトを拒否しました(敵対的な接尾辞は、評価時に試せる環境がなく未評価)。それ以外の多くのモデルでは、すり抜けるプロンプトがありました。

  • 成功率が最も高かったのは指示の分割で、多くのモデルですり抜けが起きました。分割の仕方が巧妙になるほど、すり抜けやすくなる傾向がありました。

  • アスキーアートでは、新しいモデルの多くが描かれた語を読み取って拒否した一方、GPT-4.1 は試したすべてのプロンプトですり抜けられました。

  • 小規模なオープンソースのモデルには、符号化やアスキーアートを読み解けず、無関係な応答を返すものがありました。有害な出力ではありませんが、指示を正しく扱えていない状態です。

  • 以前の研究で公開されている敵対的な接尾辞でも、一部のモデルでは今もすり抜けが起きました。

なお、この結果は2025年4〜6月時点の各モデルに対するもので、各手口10件ずつという小規模な評価です。一部のモデルは無償のチャット画面から試しており、応答の分類は人手で行っています。モデルは更新され続けるため、特定のモデルの優劣として読むのではなく、「自然な文章ではない入力に対して、安全対策が働かない場合がある」ことを示す結果として捉えてください。

論文で提案した防御

論文では、2段階の防御を提案しています。

  1. 非自然言語の前処理:入力に含まれる符号化された文字列や記号の絵を、まず自然な文章に戻します。

  2. プロンプトインジェクションの検出:自然な文章に戻した入力を、既存の検出の仕組みで判定します。

前処理の方法として、手口ごとに次のような案を挙げています。

手口

提案した前処理

文字列の符号化

符号化された部分を取り出して復号する

記号で描いた文字

文字認識(OCR)で、描かれた語を文字に戻す

指示の分割

別の LLM に「実際には何を依頼しているか」を確かめさせる

敵対的な接尾辞

文章の不自然さ(パープレキシティ)を計算し、意味をなさない文字列を取り除く

手口ごとに決まった処理をする方法は、その手口には高い精度が期待できますが、新しい手口には対応しにくい面があります。機械学習で攻撃のパターンを見分ける方法は、精度は下がりうるものの、未知の手口にも対応しやすくなります。論文ではこのトレードオフにも触れています。これらの防御の実装と評価は、今後の課題としています。

LLM を組み込むサービスを守るために

この研究から、LLM を自社のサービスに組み込む際に考えておきたい点をまとめます。

  • モデルの安全対策だけに頼らない:同じ手口でもモデルによって結果が大きく異なり、モデルの更新でも変わります。アプリケーションの側でも、入力と出力を確かめる仕組みを持つことが大切です。

  • 入力は、元の意味に戻してから判定する:符号化や分割などで形を変えた入力は、見た目の文字列だけで判定すると見逃しやすくなります。

  • LLM に与える権限を最小限にする:LLM が外部のツールやデータにアクセスできる場合、すり抜けが起きたときの影響が大きくなります。

  • 自社のアプリケーションで試す:プロンプトインジェクションへの耐性は、モデル単体ではなく、システムプロンプトや連携する機能を含めたアプリケーション全体で確かめる必要があります。

CyberForces の LLM Firewall は、符号化された文字列の復号、記号で描いた文字の文字認識、分割された指示の組み立て直しなど、この研究で整理した手口への対策を取り入れています。

論文の情報

タイトル

Experimental Evaluation of Non-Natural Language Prompt Injection Attacks on LLMs

著者

Huynh Phuong Thanh Nguyen、Shivang Kumar、Katsutoshi Yotsuyanagi、Razvan Beuran

所属

北陸先端科学技術大学院大学、サイバーマトリックス株式会社(現 クラスメソッドセキュリティ株式会社)

発表

SPAIML 2025(Security and Privacy-Preserving AI/ML)、2025年10月26日、イタリア・ボローニャ

掲載

CEUR Workshop Proceedings Vol-4154(2026年1月28日公開、CC BY 4.0)

評価に使ったコードは GitHub で公開されています(参考資料を参照)。

参考資料

新しい記事 ISMS(ISO/IEC 27001)に脆弱性診断は必須?2022年版の管理策と実施のタイミング

前の記事 【登壇レポート】WAF 基礎編② WAF の導入が難しいと言われる理由と WAF の歴史

コラム一覧へ戻る

Contact

お問い合わせ

サービスのご相談、協業のご提案、取材のご依頼など、お気軽にご連絡ください。

Recruit

採用情報

セキュリティで社会の発展を支える仲間を募集しています。まずはカジュアル面談から。

bottom of page