【Black Hat Asia 2025】AI Wargame ― チャットボットを守り、攻める実践型の演習
LLM セキュリティ プロンプトインジェクション イベントレポート
目次
こんにちは、Farid です。Black Hat Asia 2025(2025年4月1日〜4日、シンガポール)の参加レポートとして、AI チャットボットを守りながら攻める対戦型の演習「AI Wargame」を紹介します。
AI Wargame – A Hands-On Defense and Attack Simulation
AI Wargame は、Arsenal Lab(参加者が手を動かして体験できる場)で SecDim の Pedram Hayati 氏が提供した演習です。「キング・オブ・ザ・ヒル」形式の対戦型シミュレーションで、参加者はそれぞれ自分のチャットボットを外部からの攻撃から守りつつ、ほかの参加者のチャットボットへの侵入も狙います。
会場での説明によると、チャットボットは OpenAI の GPT-3.5 をもとに作られており、それぞれのシステム指示(システムプロンプト)の中に「秘密の情報」が埋め込まれていました。参加者の目的は、プロンプトインジェクションへの対策を講じて、この秘密をどんな方法でも漏らさないようにチャットボットを守ることです。
実践された防御の工夫
演習の中では、主に次のような対策が紹介・実践されました。
応答に特定の語句が含まれないよう、禁止語句(ストップワード)を設定する
モデルの出力を検証し、システム指示で応答できる範囲を絞る
変更を反映する前に、攻撃を想定したテストを行う
所感
プロンプトインジェクションがいかに現実的な脅威であるかを、身をもって体感できる貴重な機会でした。どれほど優れた言語モデルでも、巧妙な入力にだまされうるという現実を目の当たりにし、開発者自身が攻撃者の視点(レッドチームの視点)を持つことの大切さを改めて感じました。LLM を使ったアプリケーションにおける「セキュア・バイ・デザイン」が何を意味するのかを、とても具体的に理解できる演習でした。
Black Hat Asia 2025 を振り返って

Black Hat Asia 2025 は、講演を聞くだけの場ではなく、安全な開発のこれからを深く考える貴重な体験の場でした。ソフトウェア開発が単に「コードを書く作業」ではなく、「現実の脅威に耐えられる強いシステムを作ること」だと、改めて実感させてくれました。
LLM とデータベースの安全な連携、ソフトウェアのサプライチェーンの防御、API への攻撃への対応。今回得 た知見は、開発の早い段階からセキュリティを組み込むこと、AI を使うシステムでセキュア・バイ・デザインを実践することに生かしていきます。
今回紹介したツールのレポートは、SQL-Data-Guard、CICDGuard、FireTail をご覧ください。
Stay safe, stay curious.
参考資料
新しい記事 【Black Hat Asia 2025】FireTail ― OpenAPI の仕様にもとづいて API を守る
Contact
お問い合わせ
サービスのご相談、協業のご提案、取材のご依頼など、お気軽にご連絡ください。
Recruit
採用情報
セキュリティで社会の発展を支える仲間を募集しています。まずはカジュアル面談から。
