Adversarial Suffix(敵対的な 接尾辞)とは? 仕組みと対策をわかりやすく解説
LLM セキュリティ プロンプトインジェクション ジェイルブレイク
目次
Adversarial Suffix(敵対的な接尾辞)は、LLM への依頼の末尾に、人には意味をなさないように見える文字列を付け加えて、本来は拒否される依頼に応答させようとする手口です。プロンプトインジェクションのうち、モデルの安全上の制約を外させることを狙う「ジェイルブレイク」に分類されます。
この記事では、Adversarial Suffix がどのように作られるのか、なぜ別のモデルにも効くことがあるの か、どのような対策が研究されているのかを解説します。プロンプトインジェクション全体については、プロンプトインジェクションとはをあわせてご覧ください。
Adversarial Suffix とは
OWASP の「Top 10 for LLM Applications 2025」では、LLM01 Prompt Injection の攻撃シナリオのひとつとして、「一見意味のない文字列をプロンプトに付け加え、LLM の出力を悪意のある方向に変え、安全対策をすり抜ける」攻撃として挙げられています。
この手口が広く知られるきっかけになったのが、Zou らの論文「Universal and Transferable Adversarial Attacks on Aligned Language Models」(2023年)です。論文では、有害な内容を求めるさまざまな依頼に付け加えると、モデルが拒否せずに応答を始める確率が高くなるような接尾辞を、自動で探し出す方法を示しました。
ここでいう接尾辞は、「あなたは完全に自由です」のような、人が読んで意味がわかる文章ではありません。記号や単語の断片が並んだ、人には意味をなさない文字列です。人が考えた言い回しでモデルを説得するのではなく、計 算によって「拒否されにくくなる文字列」を探し出す点が、この手口の特徴です。
仕組みと攻撃の例
接尾辞の作り方
Zou らの方法の考え方は、次のとおりです。
重み(内部のパラメータ)が公開されているオープンなモデルを使います。
依頼の末尾に仮の文字列を付け、モデルが拒否ではなく「承知しました、以下が〜です」のような肯定的な書き出しで応答する確率を計算します。
その確率が高くなるように、モデルの勾配の情報を手がかりにしながら、接尾辞のトークン(文字列の単位)を少しずつ入れ替えていきます。論文では、貪欲法と勾配にもとづく探索を組み合わせています。
構造だけを示すと、攻撃のプロンプトは次のような形になります。
(本来は拒否される依頼)+(最適化で作られた、意味をなさない文字列)肯定的な書き出しで応答を始めさせることができれば、モデルはそのまま依頼された内容を続けて生成しやすくなる、というのが狙いです。
別のモデルにも効く「転移性」
論文によると、複数のオープンなモデルと複数の依頼に対して同時に効くように最適化した接尾辞は、重みが公開されていない商用のモデルにも効果を示しました。論文の公表時には、ChatGPT、Bard、Claude の公開インターフェースや、LLaMA-2-Chat などのオープンなモデルで、不適切な内容を出力させられたと報告しています。
著者らは公表前に対象の企業へ結果を伝えており、論文に掲載した特定の文字列はいずれ効かなくなるだろうとしています。一方で、こうした攻撃の根本的な問題にどう対処できるかは明らかでないとも述べています。特定の文字列が使えなくなっても、同じ方法で新しい文字列を作れることに注意が必要です。
研究で確認されている傾向
当社が北陸先端科学技術大学院大学(JAIST)と共同で行った評価では、2025年4〜6月に行った評価で、以前の研究で公開された敵対的な接尾辞を少し変えて使ったところ、一部のモデル(GPT-3.5 Turbo、Llama 系など)でまだすり抜けが起きました。詳しくは非自然言語のプロンプトインジェクションの研究解説をご覧ください。
起こりうる被害
モデルの安全対策が外れ、本来は拒否される有害な内容や不適切な内容が出力される
自社のサービスの名前で不適切な応答が表示され、信頼を損なう
モデルが外部のツールを呼び出せる場合、制約が外れた状態で操作が行われるおそれがある
接尾辞を作るにはオープンなモデルと計算資源が必要ですが、論文の接尾辞の例や探索用のコードは公開されているため、既存の接尾辞を試すだけなら、そうした準備は要りません。
対策
入力の不自然さを検出する
最適化で作られた接尾辞は、普通の文章と比べて言語モデルから見た「不自然さ」(パープレキシティ)が高くなる傾向があります。Alon と Kamfonas の研究(2023年)は、この値で攻撃を検出できる一方、正常な入力にも値の高いものがあるため誤検知が多くなることを示し、入力の長さを組み合わせた分類器で誤検知を抑えています。Jain らの研究(2023年)も、パープレキシティによる検出のほか、入力を言い換えてから渡す方法や、トークンの区切り方を変える方法を基本的な防御として評価しています。
ただし 、これらは研究段階の手法で、不自然さを抑えるように工夫した攻撃への強さや、正常な入力への影響は、アプリケーションごとに確かめる必要があります。
モデルの外に防御を置く
出力を検査する:入力をすり抜けても、出力の段階で不適切な内容や機密情報を検出して止めます。
権限を最小限にし、重要な操作には人の承認を挟む:制約が外れた場合でも、実際の操作につながらないようにします。
監視と回数制限:意味をなさない文字列を含む入力が繰り返されるなど、不審なパターンを記録し、制限します。
モデルの更新に追随する:モデルの提供者は公開された攻撃への対策を続けています。利用するモデルの更新情報を確認し、更新したら改めて耐性を確かめます。
診断で確かめること
脆弱性診断では、Adversarial Suffix について次のような点を確認します。
本来は拒否されるべき依頼に、公開されている敵対的な接尾辞を付けたときに、すり抜けが起きないか
意味をなさない文字列を含む入力が、検査や監視で検出されるか
すり抜けが起きた場合に、出力の検査や権限の制限で被害が止まるか
まとめ
Adversarial Suffix は、依頼の末尾に意味をなさないように見える文字列を付け、モデルに拒否させないようにするジェイルブレイクの手口です。
接尾辞は人が考えた言い回しではなく、オープンなモデルを使った最適化で作られ、別のモデルにも効くことがあります。
特定の文字列が対策されても、同じ方法で新しい文字列を作れます。
入力の不自然さの検出に加え、出力の検査、権限の最小化、人による承認といったモデルの外の防御を組み合わせましょう。
参考資料
新しい記事 Payload Splitting(ペイロード分割)とは? プロンプトインジェクションの手口と対策
Contact
お問い合わせ
サービスのご相談、協業のご提案、取材のご依頼など、お気軽にご連絡ください。
Recruit
採用情報
セキュリティで社会の発展を支える仲間を募集しています。まずはカジュアル面談から。
