【Black Hat Asia 2025】LLM セ キュリティ評価ツール「FuzzyAI」の可能性と限界
LLM セキュリティ ペネトレーションテスト イベントレポート
目次
こんにちは、ペネトレーションテスターの小栗です。2025年4月1日から4日にシンガポールで開催された Black Hat Asia 2025 に参加してきました。この記事では、会場で知った CyberArk 社のオープンソースツール「FuzzyAI」について、概要と所感をお届けします。
FuzzyAI とは
FuzzyAI は、LLM(大規模言語モデル)がプロンプトインジェクションやジェイルブレイク(安全上の制約を外させる入力)にどの程度耐えられるかを、自動で評価するためのツールです。あらかじめ用意された攻撃の手法で入力を作って対象の LLM に送り、その応答を分析することで、安全対策をすり抜けられるかどうかを確かめます。
GitHub で公開されている情報(2026年10月時点)では、主に次のような特徴があります。
CyberArk Labs が開発し、Apache License 2.0 で公開されています。
多数の攻撃手法を備えています。記号で描いた 文字を使う ArtPrompt、別の LLM に攻撃文を改良させる PAIR、多数の会話例を前置きする Many-shot jailbreaking、少しずつ話題をずらしていく Crescendo などです。
Anthropic、OpenAI、Gemini、Azure、AWS Bedrock、Ollama、Hugging Face などのモデルに加え、独自の REST API にも接続できます。
コマンドラインで実行でき、試験的なウェブ画面も用意されています。
攻撃手法は拡張でき、独自の手法を追加できます。
所感と評価
有用性と限界
FuzzyAI は、LLM の応答にセキュリティ上望ましくない内容(悪意のあるコードや社会的に不適切な回答など)が含まれていないかを確かめる、簡易的なスキャナーとして使えます。生成 AI に関わるペネトレーションテストの一部として取り入れる用途では、有用なツールだと感じました。
一方で、LLM に対する攻撃の手口は非常に多様で、従来のウェブアプリケーションの脆弱性スキャナーのように網羅的な検査を行うのは困難です。FuzzyAI も例外ではなく、生成される攻撃のバリエーションには限りがあり、すべてのすり抜けの手法を網羅できるわけではありません。また、デモでも分析結果に誤検出が見られる場面があり、ツールの結果をそのまま鵜呑みにするのは危険だと感じました。
テスターの視点から
根本的な課題として、生成 AI のセキュリティ対策は、スキャンや入力のフィルタリングだけでは十分ではありません。モデル自体が進化を続け、攻撃の手口も増え続けているため、網羅性(ペネトレーションテストにとっての課題)や処理の遅延(入力を検査する仕組みにとっての課題)の問題を完全に解決するのは難しいと考えています。
そのため、設計の段階から、学習や参照させるデータ、LLM に与える権限、扱わせる情報の範囲を絞るといった安全策を講じることが、これまで以上に重要になります。私たちテスターも、FuzzyAI のようなツールを活用しながら、 進化し続ける LLM セキュリティの最前線に追いついていく姿勢が大切だと感じています。
自然な文章ではない入力による攻撃については、当社が北陸先端科学技術大学院大学と共同で行った研究を「非自然言語のプロンプトインジェクションは防げるか」で解説しています。
参考資料
新しい記事 【登壇レポート】WAF 基礎編① WAF とは何か、ファイアウォールや IPS/IDS との違い
前の記事 【Black Hat Asia 2025】LLM でプルリクエストの悪意あるコードを見つける — SadGuard
Contact
お問い合わせ
サービスのご相談、協業のご提案、取材のご依頼など、お気軽にご連絡ください。
Recruit
採用情報
セキュリティで社会の発展を支える仲間を募集しています。まずはカジュアル面談から。
