top of page

トップ / コラム / 【Black Hat Asia 2025】AI Wargame ― チャットボットを守り、攻める実践型の演習

Column

コラム

イベントレポート公開日 2025.04.11 更新日 2026.10.06

【Black Hat Asia 2025】AI Wargame ― チャットボットを守り、攻める実践型の演習

LLM セキュリティ プロンプトインジェクション イベントレポート

目次

  1. AI Wargame – A Hands-On Defense and Attack Simulation

  2. 実践された防御の工夫

  3. 所感

  4. Black Hat Asia 2025 を振り返って

こんにちは、Farid です。Black Hat Asia 2025(2025年4月1日〜4日、シンガポール)の参加レポートとして、AI チャットボットを守りながら攻める対戦型の演習「AI Wargame」を紹介します。

AI Wargame – A Hands-On Defense and Attack Simulation

AI Wargame は、Arsenal Lab(参加者が手を動かして体験できる場)で SecDim の Pedram Hayati 氏が提供した演習です。「キング・オブ・ザ・ヒル」形式の対戦型シミュレーションで、参加者はそれぞれ自分のチャットボットを外部からの攻撃から守りつつ、ほかの参加者のチャットボットへの侵入も狙います。

会場での説明によると、チャットボットは OpenAI の GPT-3.5 をもとに作られており、それぞれのシステム指示(システムプロンプト)の中に「秘密の情報」が埋め込まれていました。参加者の目的は、プロンプトインジェクションへの対策を講じて、この秘密をどんな方法でも漏らさないようにチャットボットを守ることです。

実践された防御の工夫

演習の中では、主に次のような対策が紹介・実践されました。

  • 応答に特定の語句が含まれないよう、禁止語句(ストップワード)を設定する

  • モデルの出力を検証し、システム指示で応答できる範囲を絞る

  • 変更を反映する前に、攻撃を想定したテストを行う

所感

プロンプトインジェクションがいかに現実的な脅威であるかを、身をもって体感できる貴重な機会でした。どれほど優れた言語モデルでも、巧妙な入力にだまされうるという現実を目の当たりにし、開発者自身が攻撃者の視点(レッドチームの視点)を持つことの大切さを改めて感じました。LLM を使ったアプリケーションにおける「セキュア・バイ・デザイン」が何を意味するのかを、とても具体的に理解できる演習でした。

Black Hat Asia 2025 を振り返って

Black Hat Asia 2025 の会場に掲示されたブリーフィング登壇者への感謝のボード
Thank you Black Hat!

Black Hat Asia 2025 は、講演を聞くだけの場ではなく、安全な開発のこれからを深く考える貴重な体験の場でした。ソフトウェア開発が単に「コードを書く作業」ではなく、「現実の脅威に耐えられる強いシステムを作ること」だと、改めて実感させてくれました。

LLM とデータベースの安全な連携、ソフトウェアのサプライチェーンの防御、API への攻撃への対応。今回得た知見は、開発の早い段階からセキュリティを組み込むこと、AI を使うシステムでセキュア・バイ・デザインを実践することに生かしていきます。

今回紹介したツールのレポートは、SQL-Data-Guard、CICDGuard、FireTail をご覧ください。

Stay safe, stay curious.

参考資料

新しい記事 【Black Hat Asia 2025】FireTail ― OpenAPI の仕様にもとづいて API を守る

前の記事 企業のサイバーセキュリティ セルフチェックリスト — まず確認したい5分野の基本項目

コラム一覧へ戻る

Contact

お問い合わせ

サービスのご相談、協業のご提案、取材のご依頼など、お気軽にご連絡ください。

Recruit

採用情報

セキュリティで社会の発展を支える仲間を募集しています。まずはカジュアル面談から。

bottom of page