メインコンテンツへスキップ
見出し画像

プロンプトインジェクションは、フィルターを足せば止まるのか~「検査する型」と「経路を断つ型」で読むガードレール~

    【発端】 自前テストの「0件」が語る範囲

    画像
    サポート受信箱のアシスタントを使った、著者自身の実験

    最近、Sergii Makarevychさん(@sermakarevich)の記事「Your agent reads strangers' text and can act: which guardrails hold up when the attacker adapts」を読みました。メールやWebページなど他人が書いた文章を読み、送信や返金もできるエージェントを対象に、世に出ている29種のガードレールを「攻撃者が適応しても持ちこたえるか」で仕分けた長文です。

    著者が自分でも試している点が面白いです。サポート受信箱のアシスタントで、ガードレールなしの素のモデルを含む7つの構成を、25ケース、2つのモデルで動かしました。

    攻撃20ケースのうち、注入文が実行された件数は全構成で0件です。素のモデルでも0件でした。

    著者の評価では、この0は素のモデルの耐性を示す数字であり、ガードレールの優劣は測れていません。

    この記事は原文のうち、自前テスト、検査型の数字、判断ガイドに絞ります。軸は、対策が「テキストを検査する型」と「経路を断つ型」に分かれることです。

    防御の話だけを扱い、攻撃に使う文面は載せません。

    【基礎】 注入とは、データが命令として読まれること

    画像
    被害には三つの条件がそろう。Simon Willisonは「致命的な三本脚」と呼んだ

    モデルは、入力された文の出所を確実には見分けられません。

    プロンプトインジェクションは、メール、Webページ、ファイルといったデータに紛れた指示を、エージェントが実行してしまう攻撃です。

    Simon Willisonは、LLMが入ってきた文を、誰が書いたかにかかわらず指示として読みうると説明しています。Willisonの解説によると、現時点で100%確実に防ぐ方法は分かっていません。

    被害が出るエージェントには、三つの条件がそろっています。他人が書いた内容を読む、私的なデータを持つ、外へ送るか状態を変える、の三つです。

    Willisonはこの組み合わせを「致命的な三本脚」と呼びました。

    起点記事の受信箱アシスタントは、この三つをすべて持っています。顧客のメールを読み、顧客の住所とカード下4桁を持ち、返信、新規送信、返金ができるからです。

    ガードレールとは、攻撃者の文章と有害な行動のあいだに入る仕組みの総称です。起点記事は、それを二種類に分けています。

    【違い】 中身を読む型と、道を断つ型

    画像
    起点記事はこの二分で29種のガードレールを仕分けた

    攻撃者の文章を読んで判断するか、読まずに行動の範囲を狭めるかの違いです。

    テキストを検査する型は、文章の中身を見て危険かどうかを判定する型です。注入を見つける分類器、信頼できない文に目印を付ける方法、第二のモデルによる審査、モデル自身の訓練が入ります。

    経路を断つ型は、危険な行動を起こせない環境を作ります。外部ネットワークに出られない、書き込める場所を一つのフォルダに限る、実物の認証情報をモデルに持たせない、宛先を許可リストに限る、といった手段です。

    判断の材料

    • テキストを検査する型:攻撃者が書いた文章

    • 経路を断つ型:行動の宛先、金額、書き込み先

    判断する主体

    • テキストを検査する型:分類器やモデル

    • 経路を断つ型:コードや実行環境

    攻撃者の文章で動くか

    • テキストを検査する型:動く余地がある

    • 経路を断つ型:動かない

    失敗の仕方

    • テキストを検査する型:見逃し、誤検知

    • 経路を断つ型:設定の穴

    正常な業務への影響

    • テキストを検査する型:誤検知で止まる

    • 経路を断つ型:機能が狭まる

    起点記事によると、公開されている事件の修正は、画像を表示しない、特定のドメインに届かせない、データベースを見せない、といった経路の除去でした。

    【仕組み】 適応する攻撃者の前で、検査型の数字が変わる

    画像
    数字は起点記事が引用した値。ベンダーの自己測定を含み、第三者の再計測ではない

    固定の攻撃集で測った数字は、攻撃者が防御を知ったあとの数字ではありません。

    適応攻撃とは、攻撃者が防御の設計に合わせて手口を作り替える攻撃です。論文は、勾配法、強化学習、探索、人手による試行で12の防御を攻撃し、多くで成功率が90%を超えたと報告しています。

    起点記事は、同じ傾向を示す数字を引用しています。以下は、著者が引用した値です。

    • Google:静的な攻撃集で18%、適応後で94.6%

    • スポットライティング:目印を付けて信頼できない文を区別する方法で、約1%から95%超

    • OpenAI Guardrails:曲線下面積0.987に対し、偽陽性率1%での再現率は標準モデルで0.000

    最後の組は、同じ検知器の別の測り方です。曲線下面積は全体の性能を示しますが、受信箱が正常なメールを100通に1通しか誤って止められない設定にすると、その検知器は何も見つけませんでした。

    検知器を選ぶときは、偽陽性率を固定したときの再現率を聞くのが有効です。

    これらはベンダー自身の測定を含み、第三者が再計測した値ではありません。

    経路を断つ型にも穴はあります。Trail of Bitsは、承認済みコマンドの引数を悪用して、人の承認を避けて実行される例を報告しています。

    コマンド名の許可リストだけでは足りず、引数まで見る必要があります。

    【具体例】 受信箱で、宛先と金額を先に固定する

    画像
    Haikuで測った、正常な5ケースの完了数。注入の実行は全構成で0件

    モデルが何も気づかなくても守れる規則は、正常な業務を妨げませんでした。

    著者のアシスタントは、返信、新規メール送信、顧客検索、返金、何もしない、の五つのツールを持ちます。正常な5ケースと、攻撃者の目的2つ(記録の持ち出し、返金額の水増し)を含む20ケースを、7つの構成(ガードレールなしを含む)で試しました。

    20ケースのうち、2回目の攻撃は新しい操作を頼まず、宛先や注文総額といった既存の操作の引数を書き換えようとするものです。結果は、全構成、2モデルで実行0件でした。

    素のモデルは、元の宛先と記録上の金額で処理を続けています。

    差が出たのは、正常な業務への影響です。

    • 盲目の審査役(Haiku):審査役にタスクと提案された操作だけを見せる構成です。正常な5件のうち完了は2件で、25ケースで安全な操作を15回拒否しています。

    • 全文を読む審査役(Haiku):メールも読ませる構成です。正常な5件のうち4件が完了しました。

    • 許可リストと計画先行:宛先を顧客か社内に限り、返金を注文総額までに限る規則(許可リスト)と、メールを読む前にタスクから宛先と金額を決める方式(計画先行)です。正常業務への影響はありませんでした。

    審査役の拒否率は、審査役に使うモデルの質で決まります。Sonnetを審査役にすると、拒否は25件中1件でした。

    著者が手書きで作った25ケースは、反復して攻撃を改良する攻撃者ではありません。この0件は、攻撃者の最初の試行の結果として読むのが妥当です。

    【関連概念】 三本脚を切る設計と、データの流れを縛る設計

    フィルターを足す代わりに、エージェントの形そのものを変える方向があります。

    MetaのAgents Rule of Twoは、1つのセッションで、信頼できない入力の処理、機密システムへのアクセス、状態変更か外部通信のうち、持たせるのは2つまでにする設計規則です。3つ必要なら、新しいセッションにするか、人の監督を付けます。

    設計パターンの論文は、注入への耐性を理屈で示せるエージェントの構成を整理しています。その一つが計画先行で、データがメールの本文を変えても、宛先は変えられません。

    論文は、安全と引き換えにできることが減る点も検討しています。

    データの流れを実装で縛る研究もあります。CaMeLは、信頼できないデータが処理の流れを変えられないようにする方式で、AgentDojoというベンチマークで、論文の要旨によると、保証付きに解けたタスクが77%でした(防御なしは84%)。

    保証と引き換えに、できることが減ります。

    実行環境の側では、AnthropicのClaude Codeが、ファイルとネットワークの両方を隔離するサンドボックスを採用しています。起点記事によると、片方だけでは回避されるためです。

    ネットワークだけを隔離すると、侵害されたエージェントが起動ファイルを書き換えます。ファイルだけを隔離すると、データを外へ送ります。

    参考情報・参考書籍(PR)

    本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。

    徳丸浩さんの『体系的に学ぶ 安全なWebアプリケーションの作り方 第2版 脆弱性が生まれる原理と対策の実践』は、PHPのサンプルへの攻撃を通して、Webアプリの脆弱性が生まれる原理と対策を学ぶ本です。2018年刊の第2版(OWASP Top 10 2017対応)で、LLMエージェントのガードレールは扱いません。従来のWebアプリの脆弱性を基礎から押さえたいときの一冊です。

    関連記事

    【まとめ】 自分のエージェントを、二列に仕分ける

    画像
    自分のエージェントを二列に仕分ける

    検査型は追加のレイヤーとして残し、重大な害には経路を断つ手段を一つ決めます。

    次の順で、自分のエージェントを点検できます。

    1. セッションごとに、三本脚(信頼できない内容、私的データ、外への送信や変更)のどれを持つかを書き出す。

    2. 使っているガードレールを、検査型と経路断絶型に分ける。

    3. 避けたい害(情報の持ち出し、金銭の移動、削除)ごとに、起こせなくする手段を一つ決める。

    4. 検査型は、経路を断つ手段の上に重ねる安価なレイヤーとして使い、最後の砦にはしない。

    この記事の数字は起点記事が引用したものです。

    ベンダーの数字を使うときは、偽陽性率を固定した再現率と、攻撃者が適応した場合の値を、ベンダーに確認してください。

    参考情報

     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ