メインコンテンツへスキップ
見出し画像

AIエージェントを自分のPCで動かしてはいけない理由

    【発端】 PCの中身をそのまま渡す運用

    エージェントの導入は進んでいます。止める仕組みは、まだ追いついていません。

    最近、ReplitのCTOであるLuis Héctor Chávezさん(@lhchavez)の「Security advisory: Make managed cloud environments the default for AI agents」を読みました。AIエージェントは、組織が管理する専用の環境で、タスクに必要な範囲だけの権限で動かすべきだ、という提言です。

    この記事では、提言の製品面ではなく、隔離、最小権限、プロンプトインジェクションの境界という安全設計の部分を取り上げます。読み終えると、自分の環境でエージェントに何を渡しているかを点検する視点が持てます。

    原文には数字が並んでいます。Stack Overflowの調査で、AIツールを使う、または使う予定の回答者は、2023年の70%から2025年の84%に増えています。

    一方、Salt Securityの2026年10月の調査では、回答者の86.4%が、自社で少なくとも1つのエージェントが動いていると答えました。そのうち、本番で異常な動きをしたエージェントを自動で止められるのは17.5%です。

    全エージェントの経路を一貫して追跡できるのは12.5%でした。

    どちらも自己申告のアンケートです。原文も、特定の標本の範囲で読むよう注意を添えています。

    【基礎】 エージェントは読んだ文章に従う実行者

    画像
    命令とデータが同じ自然言語として処理されることが弱点

    エージェントはチャットボットと違い、読んだ内容をもとにコードを動かし、外部サービスを操作します。

    エージェントとは、AIモデルが自分で手順を決め、ファイルの読み書きやコマンド実行、外部サービスの操作までこなすツールです。メールやIssue、依存パッケージの説明文など、外から来た文章も読みます。

    弱点は、モデルが指示と読み込んだデータを同じ自然言語として処理することです。そのため、データの中に紛れた命令に従ってしまうことがあります。

    これがプロンプトインジェクションです。OWASPは、外部のウェブサイトやファイルを通じて入る型を、間接的なプロンプトインジェクションと呼んでいます。

    人間が読めない形でも、モデルが解釈すれば作用すると説明しています。

    OWASPの旧版の解説では、モデル内部での確実な防止策はないとされています。軽減策として挙がるのは、権限の制御、最小権限、特権的な操作の前の人間の承認です。

    つまり、守りの重心はモデルの外に置く、という考え方になります。モデルがだまされないことに賭けるのではなく、だまされても被害が収まる構造にします。

    【違い】 人の全権限から、タスク分の権限へ

    画像
    実行場所で、侵害されたときに触れられる範囲が決まる

    エージェントをどこで動かすかで、攻撃されたときに触れられる範囲が決まります。

    社員のPCには、ブラウザのセッション、SSH鍵、クラウドの認証情報、非公開リポジトリ、社内ネットワークへの経路、無関係な業務データが並んでいます。原文は、これはほとんどのエージェントのタスクが必要とする範囲を大きく超えている、と述べています。

    専用のクラウド環境なら、実行の場所を社員のPCから切り離せます。次の一覧は、原文の論点を軸ごとに並べ直したものです。

    手の届く範囲

    • 手元のPCで実行:社員の権限すべて

    • 管理された専用環境で実行:そのタスク用に用意した作業場所

    認証情報

    • 手元のPCで実行:環境変数やファイルに置かれやすい

    • 管理された専用環境で実行:エージェントの外にある仲介役が扱う

    記録と停止

    • 手元のPCで実行:本人の端末頼み

    • 管理された専用環境で実行:組織が独立して記録し、止め、作り直す

    問題が起きたとき

    • 手元のPCで実行:PC全体の調査と復旧

    • 管理された専用環境で実行:環境を捨てて作り直す

    ただし、クラウドに置くだけでは足りません。原文は、ローカルの拡張機能からクラウドのモデルに送るだけでは、ローカルのコードが動き続けると指摘しています。

    本番の認証情報をコピーして制限なしの通信を許した遠隔エージェントも、同じ危険を別の場所で再現します。

    【仕組み】 モデルを信じず、外側で強制する設計

    エージェントの協力を前提にせず、境界を外側から強制します。

    原文は、エージェントの実行を信頼できないものとして扱い、エージェントが協力するかどうかに関係なく境界を守らせるよう勧めています。この考え方は、次の6つの管理に分かれています。

    • 隔離:エージェント、インストールスクリプト、ツール、依存関係を専用のサンドボックス(隔離された実行場所)に入れる。社員のホームディレクトリやブラウザのセッションは引き継がない

    • 認証情報の仲介:外部サービスの認証情報を、エージェントが読める場所に置かない。仲介役が、エージェント、依頼者、組織、タスクに紐づけて承認する

    • 最小権限:1回の実行に、必要な資源と操作だけを与える。エージェントが自分で権限や方針を変えられないようにする

    • 通信とデータの流れの制限:DNS、IP直指定、クラウドのメタデータ、外部リクエストを制御する。GitHubを許可しても、非公開データをGitHubのどこへ公開してもよい、という意味にはしない

    • 本番の分離:エージェントは変更を提案するだけにし、実際の反映は信頼できる承認とデプロイの仕組みが行う

    • 独立した監査と封じ込め:記録をエージェントが書き換えられない場所に置く。停止と権限の取り消しも、エージェントの協力なしに働くようにする

    最小権限は新しい発想ではありません。NIST SP 800-53のAC-6は、利用者と、利用者の代わりに動くプロセスに、任務に必要なアクセスだけを許す原則を定めています。

    エージェントも、この「利用者の代わりに動くプロセス」にあたります。

    【具体例】 公開Issueが非公開リポジトリを開くまで

    画像
    Invariant LabsによるGitHub MCPの実証(経路の実証であり、大規模被害の報告ではない)

    承認済みの道具と宛先だけでも、不正なデータ送出は成り立ちます。

    原文が挙げる例の一つが、Invariant LabsがGitHub MCPで示した攻撃です。MCPとは、エージェントが外部のツールやサービスにつながるための共通の取り決めです。

    攻撃者が、公開リポジトリのIssueに、指示を紛れ込ませます。開発者が、GitHub MCPを使うエージェントにそのリポジトリの作業を任せます。

    エージェントはIssueを読み、非公開リポジトリの情報を取得し、公開のプルリクエストに書き出します。研究者は、侵害されていない正規のMCPサーバーでこれを示しました。

    原文は、攻撃の経路を示した実証であり、大規模な被害の報告はないと添えています。

    ここで境界がどう働くかを見ます。まず、エージェントが読める非公開リポジトリが、そのタスクの対象だけなら、持ち出せる情報が減ります。

    次に、書き込み先を制限すれば、公開プルリクエストへ出す道が閉じます。

    さらに、高い影響の操作に人間の承認を挟めば、気づく機会が生まれます。どの手も、モデルがだまされないことを前提にしていません。

    【関連概念】 三要素の組み合わせと、層を重ねる守り

    画像
    Simon Willison氏の「lethal trifecta」

    危険は三つの能力が同じエージェントに揃ったときに最も大きくなります。

    Simon Willison氏が提唱した「lethal trifecta」は、非公開データへのアクセス、信頼できないコンテンツへの接触、外部への通信手段の三つです。三つが揃うと、攻撃者はエージェントにデータを盗ませやすくなります。

    同氏は、三つのうち一つを断つのが解決の道だと述べ、外部への流出経路の制限が最も手を付けやすいとしています。上の具体例も、読む、読める、出せる、の三つが揃っていた形です。

    原文が示す事例は、PCだけの問題ではありません。たとえば、Nxのパッケージを狙った攻撃では、導入済みのAIコマンドラインツールが、秘密情報探しに使われました。

    Wizの分析では、1,000件を超える有効なGitHubトークンが露出しました。その後、漏れたトークンで5,500を超える非公開リポジトリが公開されています。

    Cursor上の偽のClaude Code拡張機能が、最大5,000人にダウンロードされた件では、Cursorの通知が、ホスト情報の収集と永続的なSSHバックドアの設置の試みを説明しています。

    逆に、クラウドなら安全とも言えません。Salt Labsは、悪意あるメールの内容からManusのクラウドサンドボックスでコードを動かし、連携サービスのトークンに手が届いた例を報告しています。

    原文は、ローカルとクラウドの侵害率を比べた資料は、確認した範囲にないと明記しています。

    また、原文の著者はReplitのCTOで、記事は同社が提案する構成にも触れています。内容を読む際は、この立場を頭に置くと、主張と製品の宣伝を切り分けやすくなります。

    参考情報・参考書籍(PR)

    本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。

    【まとめ】 手元のエージェントの権限を棚卸しす

    画像
    新しい道具を入れる前に、紙の上で始められる

    まず今動いているものが、何を読め、何を書けるかを確かめます。

    自分の環境で試せる小さな一歩は、次の5つです。いずれも、新しい道具を入れなくても、紙の上で始められます。

    1. 使っているエージェントと拡張機能を一覧にする

    2. それぞれが読めるファイル、認証情報、ネットワークの範囲を書き出す

    3. 非公開データ、外部コンテンツ、外部通信の三つが同居しているものに印を付ける

    4. 印の付いたものから、一つずつ権限を外す

    5. 停止の手段が実際に止まるかを、ログで確かめる

    停止の確認は、原文も強調する点です。止められるはずの仕組みが、実際には止まらない状態は避けたいものです。

    参考情報


     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ