メインコンテンツへスキップ
見出し画像

「ファイルを消すな」とプロンプトに書いても、エージェントは止まらない

    最近、奔跑的大毛腿(@runmaotui)さんのX Articleを読みました。原文は中国語で、エージェントがなぜ乱暴な動きをするのかを、仕組みから説明する記事です。

    面白かったのは、「プロンプトに書いた禁止」と「実行系が課す制限」を、別の仕組みとして分けて見せているところです。著者は学習用に自作した観察ツールMin Agentを使い、書き込み要求がシステムの検査を通ってから実行される流れを見せています。

    この記事では、その考え方から、エージェントの動く仕組み、「消すな」と書いても足りない理由、実行側で止める設計までを順に整理します。著者の整理と公式ドキュメントの内容は区別して書きます。

    【発端】 禁止の一文を信じて任せた先で起きること

    「消すな」と書くことと、「消せない」ことは別の話です。

    原文は、エージェントがファイルを誤って削除した事例から安全の話に入ります。

    著者は、Hardy Chenさんが姉のToday AIでの体験を共有した、と書いています。20年分のデータが誤って消されたという内容です。

    この投稿そのものは、私は確認できていません。ここでは「著者が引いた事例」として扱い、事実関係の裏取りはしません。

    著者がここから引き出した教訓は短いものです。エージェントを使うときは、何ができるかより、何を許されているかを見ることです。

    この一点が、以下の話の軸になります。

    【基礎】 モデルは提案するだけで、手を動かすのは別の仕組み

    画像
    Agent Loopは、目標から観察まで、一周ごとに文脈が更新される
    画像
    Min Agentの実演で示された流れ

    エージェントは「考える部分」と「実行する部分」に分かれています。

    エージェントとは、チャットで答えるだけでなく、ファイルを読み、書き、コマンドを動かして仕事を進めるAIの使い方です。ただしモデル自体にパソコンを操作する力はありません。

    モデルは「このファイルを読みたい」と要求を出し、背後のシステムが実行して、結果をモデルに返します。

    原文は、この流れを五つの部分の繰り返しとして説明しています。この繰り返しをAgent Loopと呼びます。

    • 目標:ユーザーが自然言語で頼んだ内容

    • 文脈:要求、プロジェクトの規則、すでに読んだファイル、過去の操作結果

    • モデル:次に読むのか、直すのか、答えるのかを決める部分

    • ツール:モデルの要求を、システムが実際の操作にする部分

    • 観察:成功したか、エラーが出たかという結果

    観察の結果は次の文脈に入り、次の判断を変えます。だから、途中で一つ誤ると、その後の行動も一緒にずれていきます。

    【違い】 お願いと権限で届く相手は別

    画像
    同じ「消すな」でも、届く仕組みが違う

    プロンプトはモデルに届き、権限は実行そのものに届きます。

    原文の言い方では、プロンプトはモデルに「どうすべきか」を伝えるもので、操作が実行できるかどうかは、システムの権限が決めます。モデルは指示を取り違えることがあり、何度も繰り返す途中で判断を誤ることもあります。

    この違いを、軸を決めて並べると次のとおりです。比較の軸は私の整理です。

    届く相手

    • プロンプトの禁止:モデルの判断

    • 実行側の権限:ツールの実行そのもの

    破られ方

    • プロンプトの禁止:取り違え、途中のずれ

    • 実行側の権限:設定の抜け、想定外の迂回

    消せるか

    • プロンプトの禁止:消せる余地が残る

    • 実行側の権限:許可しなければ実行されない

    プロンプトに禁止を書くこと自体は無駄ではありません。モデルの判断を良い方向へ向ける効果は期待できます。

    ただ、「必ず止める」役目までは担えません。

    【仕組み】 要求のあとにシステムが行う三つの検査

    安全の判断は、モデルの外側で、実行の直前に行われます。

    原文で見せているのは、Min Agentでの書き込みの流れです。モデルがファイルを書くよう求めると、システムは次を調べ、通ったものだけを実行します。

    1. 書き込み先が、許された範囲に入っているか。

    2. 既存のファイルを上書きしないか。

    3. ユーザーの承認が出ているか。

    モデルが何を考えていても、この三つを通らなければ実行されません。この仕組みなら、モデルが指示を取り違えても、被害の大きさをシステム側で抑えられます。

    なお、原文の実演は「検査が実行の前に挟まる」ことを示すものです。プロンプトの禁止が破られる場面を再現したものではないので、区別して読む必要があります。

    公式の実装も同じ形です。Claude Codeの権限設定では、ルールをdeny、ask、allowの順に評価します。

    そのため、最初に当てはまったものが結果を決めます。

    ベストプラクティスには、毎回必ず守らせたいことはhook、denyルール、管理設定にする、とあります。

    【具体例】 完了と報告のあとにも無い成果物

    画像
    Min Agentの実験。最後の書き込みでsummary.mdが既存のため失敗

    「やりました」という報告より、結果が実際に残っているかを見るべきです。

    原文には、権限の話とは別に、もう一つ実験があります。Min Agentに四つの作業を頼みました。

    ファイルを調べ、資料を読んで整理し、現在時刻を取り、最後にsummary.mdという総括ファイルを書く、という順です。

    最後の書き込みで、同じ名前のファイルがすでにあったため、ツールが失敗しました。前の三つは終わっていても、総括ファイルは書かれず、作業全体は未完了でした。

    この例は、さきほどの「上書きを調べる」検査とつながります。上書きを止める仕組みは思いがけない失敗を防ぎますが、同時に失敗として観察に返ります。

    次にすることは、結果を確かめることです。原文は、ファイルができたか、内容が合っているか、テストが通ったかを、事前に約束しておくよう勧めています。

    【関連概念】 過剰な権限と、権限ルールの限界

    画像
    過剰な代理権限と、仕組みを重ねる設計

    問題は、モデルの出来だけではありません。与えすぎた力にもあります。

    OWASPは、LLMアプリの危険の一つとして過剰な代理権限(Excessive Agency)を挙げています。想定外、曖昧、操作された出力に対し、害のある行動が実行されてしまう状態です。

    原因は、機能が多すぎること、権限が大きすぎることなどです。対策は、呼べる拡張を必要最小限にし、最小の権限で動かすことです。

    一方、ルールを書けば完全に守れるわけでもありません。Claude Codeのベストプラクティスには、WebFetchのdenyルールはサンドボックスが無効なら同じドメインへのcurlを止めないとあります。

    OSレベルで制限するには、サンドボックスを併用します。

    また、承認を全部飛ばすbypassPermissionsは、使い捨てのコンテナでだけ意味がある、と同じ文書にあります。

    権限の設計は、仕組みを重ねて考えるものです。

    参考情報・参考書籍(PR)

    本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。

    関連記事

    【まとめ】 任せる前の備え・絞り込み・確認・検証

    禁止文を整える前に、実行側を見直します。

    原文が勧める四つの習慣を、試す順に並べます。

    1. 重要なデータは、先にバックアップを取る。コードはGitで管理する。

    2. 作業範囲をプロジェクトのディレクトリに絞る。読み取り専用で足りるなら、そうする。

    3. 削除、上書き、影響の大きいコマンドは、人が承認する。「慎重にやります」という言葉ではなく、実際に実行する操作を見る。

    4. 終わったら、実際の変更を確認する。テストを走らせる。

    最初の一歩として、いま使っているエージェントの権限設定を開き、削除と上書きが「承認待ち」になっているかを確認してみてください。

    公式ドキュメントと照らして試してください。

    参考情報

     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ