メインコンテンツへスキップ
見出し画像

AIエージェントは足すほど賢くなるのか?PiとDatabricksから考えるハーネスを安全に削る方法

    AIエージェントを使い込むほど、設定は増えていきます。

    最初は一枚の指示文だけだったのに、気づけばルール、スキル、MCP、メモリ、サブエージェント、レビュー役、再試行、フック、評価、承認フローが積み重なっている。以前の失敗を防ぐために一つ追加し、別のモデルでも動かすためにもう一つ追加し、品質を上げるためにさらに一段追加する。どの追加にも、たいてい筋の通った理由があります。

    それでも、ある時から妙なことが起きます。単純な仕事まで始めるのが遅い。必要な指示を一部無視する。同じファイルを何度も読み直す。レビュー役を増やしたのに、同じ間違いへ全員が賛成する。高性能なモデルへ替えたはずなのに、文章もコードも不自然に重くなる。

    このとき、原因をモデルの能力不足だけに求めると、さらに強いモデル、さらに長いプロンプト、さらに多くのエージェントを足したくなります。しかし、Pi、Databricks、Shopify、OpenAI、Anthropicの一次情報と関連研究を追うと、別の見方が必要だと分かります。AIエージェントの性能は、モデルの賢さだけでなく、モデルを取り巻く仕事環境で大きく変わる。その環境は、足し続けるだけでなく、測りながら削らなければならないという見方です。

    結論を先に言えば、現行ハーネスの一括削除は勧めません。現行版を保存し、実際に何が読み込まれ、どの道具が使われ、どこに費用と失敗が発生しているかを可視化する。そのうえで最小版を別系統に作り、同じ仕事、同じモデル、同じ評価で比べ、価値を説明できない要素だけを一つずつ外す。これが最も安全です。

    最小化とは、何も持たないことではありません。必要な知識、安全装置、検証、証跡、復旧手段を残しながら、AIが毎回背負う情報、選択肢、余計な会議を減らすことです。この記事では、ハーネスが太る理由から、削減順序、症状別の診断、安全な段階削除、一括リセットの条件、三十日間の実行計画までを、一つの判断体系として整理します。

    善意の追加が、AIの仕事場を静かに重くする

    ハーネスの肥大は、怠慢よりも改善努力から生まれます。だから厄介です。失敗を直すたびに追加された対策は、一つずつ見ると合理的でも、全体では互いに競合し、AIの注意と人間の保守能力を奪います。まず、何が重くなっているのかを同じ言葉で捉える必要があります。

    失敗を直すほど、常設ルールは増えていく

    ハーネスが肥大化する理由は、設計者が怠けたからではありません。むしろ逆です。失敗へ丁寧に対応し続けた結果、少しずつ層が増えます。

    たとえば、AIが重要な確認を忘れた。そこで「必ず確認する」というルールを追加します。別の仕事では出力形式が崩れたため、詳細なテンプレートを加える。事実誤認があったので、ファクトチェック役を置く。レビューで見落としが出たので、別のレビュー役も置く。途中で文脈を忘れるので、会話要約と長期メモリを追加する。外部サービスを使わせるためにMCPを接続し、安全のために承認フローを増やす。

    一つひとつは合理的です。問題は、追加した要素がその後も常に必要か、別の仕組みと重複していないか、モデルの世代が変わっても有効かを見直す工程が弱いことです。

    ソフトウェアでは、機能を追加すればテスト、依存関係、保守費用も増えると考えます。AIハーネスでも同じです。ただし、普通のソフトウェアより影響が見えにくい。長い指示文が実行時間を何秒増やしたか、似たツールが選択ミスをどれだけ増やしたか、レビュー役が本当に独立した見解を出しているかは、計測しなければ分かりません。

    そのため、ハーネスは「便利な機能の集まり」ではなく、継続的に棚卸しすべき運用資産として扱う必要があります。追加には導入理由、対象タスク、期待効果、失敗時の戻し方を記録し、一定期間後に再評価する。削除にも同じくらい正式な工程を設ける。この発想がないと、過去の問題を防ぐための設定が、現在の問題を生むことがあります。

    同じ指示や修正を繰り返さないための知識の仕組み化は、こちらの記事で詳しく整理しています。この記事は「増やす理由」を扱い、本記事は増えた仕組みをどう再評価するかを扱います。

    ハーネスはプロンプトより広い仕事環境である

    ハーネスという言葉は、AIを仕事へつなぐ仕組み全体を指します。プロンプトだけではありません。人が新人へ仕事を任せるときも、説明書だけを渡すわけではないでしょう。資料の置き場所、使える道具、権限、途中報告の方法、完了条件、レビュー、事故が起きたときの止め方まで含めて、仕事が成立します。AIも同じです。

    この記事では、ハーネスを七つの層に分けて考えます。

    一つ目は指示です。システムプロンプト、プロジェクトルール、AGENTS.md、作業例、禁止事項などが入ります。

    二つ目は能力です。必要なときに呼び出すスキル、テンプレート、検索知識、RAGなどです。RAGは、関連する資料を検索してAIへ渡す仕組みを指します。

    三つ目は道具です。シェル、エディタ、ブラウザ、外部API、MCPなど、AIが情報を取り、現実へ働きかける手段です。MCPは、AIと外部ツールを共通方式で接続する規格です。

    四つ目は進め方です。計画、ルーティング、サブエージェント、レビュー、再試行、停止条件など、仕事をどの順番で進めるかを決めます。

    五つ目は状態です。会話履歴、メモリ、要約、作業メモ、ファイル、Git、データベースなど、途中経過と判断を残す場所です。

    六つ目は検証です。テスト、型検査、リント、評価セット、受入条件、証拠、レビューを含みます。

    七つ目は運用と安全です。サンドボックス、権限、承認、監査ログ、秘密情報の検査、ロールバック、本番反映の制御です。

    この七層を混ぜて考えると、「プロンプトを短くする」「ツールを減らす」といった単純な議論になりがちです。しかし、本当に削るべきなのは文字数やファイル数ではありません。実行時に不要な情報、重複した判断、効果が測れていない工程、別の層で確実に担保できるルールです。

    反対に、最後まで残すべきものもあります。テスト、秘密情報の検査、破壊操作の防止、最小権限、変更差分、完了証拠、復旧手段、人間の最終承認です。最小ハーネスと、安全装置が少ないハーネスは同じではありません。

    画像

    プロンプトだけでなく、コンテキスト、道具、状態、評価、権限まで含めたハーネスの全体像は、こちらの記事で十要素として整理しています。

    PiとDatabricksは、モデル以外の差を数字にした

    最小ハーネス論が注目される理由は、単なる美学ではありません。同じモデルでも、何を毎回読み込ませ、どの道具を見せ、何回やり直させるかで、費用、速度、成功率が変わることが実測され始めたからです。ただし、ここから「Piが常に最強」と結論するのは誤りです。

    Piが示したのは、機能不足ではなく小さな標準状態である

    Piは、自らを最小のエージェントハーネスと位置づけています。公式サイトでは、利用者がPiの流儀へ仕事を合わせるのではなく、自分の仕事へPiを合わせると説明しています。

    ここで大切なのは、Piが「何もできない小さな道具」ではないことです。標準状態は小さく保ちながら、必要なら拡張、スキル、プロンプトテンプレート、テーマ、パッケージを追加できます。サブエージェントや計画モードを標準搭載しない一方で、必要な人は自分の用途に合わせて作れます。

    つまり、能力の有無と、毎回その能力を読み込むことを分けています。

    これはスマートフォンに似ています。端末へ世界中のアプリを最初から全部起動しておく必要はありません。アプリをインストールできることと、常にメモリへ載せることは別です。AIハーネスも、使える機能を多く持つことと、毎ターンすべての説明をモデルへ送ることを分けた方がよい場合があります。

    Piを紹介したEarendilの記事では、標準の道具は四つで、システムプロンプトとツール定義を合わせても千トークン未満だと説明されています。ただし、この数字はPi側の記事に基づく仕様説明であり、バージョンによって変わり得ます。また、小さなプロンプトだけで性能差のすべてを説明できるわけではありません。編集方法、圧縮、ツール設計、実行回数、モデルとの相性も影響します。

    それでも、設計思想は明快です。

    最初から万能を目指さない。基本操作で始める。観測された失敗へだけ機能を追加する。追加能力は必要な仕事でだけ読み込む。ハーネス自体を変更可能にしておく。

    この考えはPiだけの宣伝文句ではありません。OpenAIのエージェント構築ガイドも、最初から複雑な複数エージェントへ進まず、単一のエージェントへ道具を段階的に加える方が、評価と保守を簡単にできるとしています。Anthropicも、成功した実装では複雑な専用フレームワークより、単純で組み合わせ可能なパターンが多かったと説明しています。

    ここから得られる原則は、「少ないほど正しい」ではありません。複雑さは、初期設定ではなく、観測した失敗へ対する処方箋であるべきということです。

    Pi公式は、標準でサブエージェントや計画モードを抱えず、必要な機能を拡張、スキル、プロンプトテンプレート、パッケージとして追加できる設計を示しています。公式リポジトリで確認できる標準ツールは、読み取り、書き込み、編集、シェル実行の四つです。小ささと拡張性を対立させず、能力は外に持ち、必要な時だけ読み込む発想です。

    一方、システムプロンプトとツール定義が千トークン未満という数値は、Pi開発元の記事側の説明です。Pi公式仕様として固定値のように扱うべきではありません。

    画像

    Databricksの検証で、ハーネス差が費用差になった

    最小ハーネスの議論が注目された大きな理由の一つが、Databricksの社内ベンチマークです。2026年7月8日に公開された記事では、数百万行規模の実際の社内コードベースを使い、モデルとハーネスの組み合わせを比較しています。

    対象はPython、Go、TypeScript、Scala、Rust、Java、Bazel、Protobufなど十以上の言語や技術を含む大規模環境です。公開ベンチマークだけに頼らず、人間が作成し、レビューし、マージした社内の変更をもとに課題を構築しました。

    この設計が重要です。公開問題は、時間がたつと学習データへ混ざる可能性があります。また、一般的なベンチマークが自社のコード、開発規約、言語構成、業務の難しさを代表するとは限りません。Databricksは、最近の人間作成の変更であること、高品質なテストを伴うこと、数モジュール程度で完結すること、日常の仕事を代表することなどを条件に課題を選びました。

    さらに、正解実装を見せず、問題と目的と制約だけを提示し、元のテストをエージェントから隠したうえで、完了後にテストを適用しました。評価を「もっともらしい説明」ではなく、実際に動くかで判定するためです。

    結果から得られた重要な示唆は四つあります。

    第一に、費用と品質の両方で一つのモデルだけが常に最良ではありませんでした。上位の選択肢にはOpenAI、Anthropic、オープンモデルが混在し、仕事の難しさに応じて使い分ける必要がありました。

    第二に、トークン単価は仕事全体の費用を表しません。記事に掲載された例では、Sonnet 5はOpus 4.8よりトークン単価が約1.7倍安い一方、Databricksの課題では一件当たり2.09ドル、Opusは1.94ドルでした。完了率も81パーセントと87パーセントで差があり、Sonnetは約1.9倍のトークンを消費しました。安いモデルでも、長く考え、読み直し、再試行すれば、成功一件当たりでは高くなります。

    第三に、同じモデルと同じ推論設定でも、ハーネスによって一件当たりの費用が二倍を超えて違う場合がありました。品質が同等でも差が出ています。

    第四に、その差の主因として、毎ターンモデルへ送り直す文脈量が挙げられました。Piは比較対象より一ターン当たり約三分の一の文脈で、狭い作業範囲を保ち、より少ない実行回数で完了したと報告されています。

    ただし、ここで「Piが常に最良」と結論づけるのは誤りです。Databricks自身が、調査は包括的ではなく、自社コードベース固有の結果であり、一つのハーネスが常に安い、純正ハーネスが悪いという意味ではないと留保しています。

    一般化できるのは、Piの順位ではありません。モデル名だけを比較しても、実際の仕事の費用と品質は分からない。モデルとハーネスを別々の変数として、自社の代表タスクで測る必要があるという点です。

    Databricksの社内評価では、同じモデルと同じ推論強度でも、ハーネスの違いにより一タスク当たりの費用が二倍を超える例がありました。Piは比較対象より一ターン当たりのコンテキスト量が約三分の一で、作業範囲が狭く、実行回数も少ない傾向を示しました。

    ただしDatabricks自身は、一つのハーネスが常に安いとも、純正ハーネスが劣るとも結論していません。自社の巨大な多言語コードベース上の結果であり、他社の仕事へそのまま一般化できないと明記しています。この記事で採用すべきなのは、Piの勝利宣言ではなく、モデルとハーネスを別の変数として測るという方法です。

    安いモデルより、成功一件までの総費用を見る

    AIサービスの比較では、入力百万トークン当たり何ドルかが目立ちます。しかし、業務で必要なのはトークンそのものではなく、正しい成果です。

    一回の利用料金が安くても、失敗してやり直す、人が長く修正する、別のエージェントへ引き継ぐ、文脈を何度も送り直すのであれば、総費用は高くなります。反対に単価が高いモデルでも、短時間で正しく終え、レビュー負荷が小さければ、仕事単位では安くなることがあります。

    測るべき指標は、少なくとも次のように変わります。

    成功した仕事一件当たりの総トークン。完了までの時間。ツール呼び出し回数。再試行回数。人間の修正時間。見逃した不具合の後処理。安全確認に必要な時間。失敗した場合の損失です。

    この見方をすると、モデル選択とハーネス削減は同じ評価表へ載せられます。より小さなモデルへ替える前に、重複した指示や常設ツールを減らす。複数エージェントを増やす前に、単一エージェントのツール名と説明を改善する。推論強度を上げる前に、不要な文脈を外す。こうした順序の方が、能力を落とさず費用を下げられる場合があります。

    OpenAIの2026年8月時点のモデルガイダンスにも、繰り返し指示や例を減らし、ツール説明を簡潔にした内部のコーディングエージェント評価で、評価得点が約10から15パーセント改善し、総トークンが41から66パーセント、費用が33から67パーセント減ったという方向性の結果が掲載されています。これは一社の内部サンプルであり、すべての業務へ同じ幅を期待すべきではありません。それでも、短くしたら弱くなるとは限らず、重複を減らすことで品質まで上がり得ることを示します。

    重要なのは、削減率の数字を目標にしないことです。半分に短くする、ツールを十個以下にするといった固定目標は、新しいGoodhartの法則を生みます。Goodhartの法則とは、指標が目標になると、その指標が本来の目的を測れなくなる現象です。トークンを減らすために必要な例外条件まで消せば、見かけ上は効率化しても実務では壊れます。

    評価単位は「どれだけ減ったか」ではなく、「必要な品質、安全、証拠を保ったまま、どれだけ少ない資源で終えたか」です。

    画像

    モデル単価ではなく、成功一件当たりの総費用とライフサイクル全体でAI投資を評価する方法は、こちらの記事で詳しく扱っています。

    長い指示と大きな道具箱は、安心より迷いを増やす

    情報を多く渡せば、AIは判断しやすくなる。道具を多く見せれば、何でもできるようになる。直感的には正しそうですが、長い文脈と巨大なツールメニューには明確な費用があります。問題は容量ではなく、必要な情報を必要な瞬間に使えるかです。

    長い文脈は、収まることと使えることが同じではない

    近年のモデルは長い文脈を扱えます。そのため、資料もルールもツール説明も全部入れてしまえば安心に見えます。しかし、窓に入ることと、必要な瞬間に正しく使えることは別です。

    人間でも、百ページの説明書を机に置かれたからといって、重要な一文を必ず見つけられるわけではありません。AIにも有限の注意があります。

    長い文脈研究で知られるLost in the Middleは、関連情報が入力の中央付近にあると、先頭や末尾にある場合より利用性能が落ち得ることを示しました。モデルや条件によって差はありますが、重要な警告は残ります。指示を長くすれば、重要な規則が埋もれる可能性があります。

    Anthropicは、良いコンテキスト設計を「望ましい結果の確率を最大化する、最小の高シグナルなトークン集合を見つけること」と説明しています。ここで最小は、単に短いという意味ではありません。必要な事実、例外、安全境界、完成条件は残します。削るのは、使われない情報、重複、古い例、曖昧な長文、すでにコードや権限で強制される内容です。

    逆方向の危険もあります。長い会話を何度も要約し直すと、細部が少しずつ消えます。失敗した仮説、合意した例外、数字の条件、未解決事項が、きれいな短い要約へ圧縮される。これを文脈崩壊と呼べる状態です。

    したがって、正しい簡素化は、すべてを捨てることではありません。

    古いツール出力はファイルへ保存し、必要なときに検索する。判断は追記型のログへ残し、要約全文を毎回書き換えない。最新の正式状態を一つ決め、会話履歴は参考情報にする。重い資料は常時投入せず、質問に応じて該当箇所だけ取得する。

    つまり、削除ではなく、分類し、外へ出し、必要なときに取り戻せるようにするのです。

    OpenAIは現行のモデルガイダンスで、内部のコーディングエージェント評価において、より短く直接的なプロンプトが、スコアを一〇から一五%高め、トークンを四一から六六%、費用を三三から六七%減らしたと報告しています。同時に、これは方向性を示す内部評価であり、代表的な自社タスクで検証すべきだとも明記しています。

    OpenAIのハーネス設計記事も、巨大な指示書を一つ置くのではなく、AIが必要な資料へ辿れる地図を渡す方針を示します。長いAGENTS.mdがコードや課題そのものを圧迫し、過剰な指示が実質的に役立たなくなるという問題意識です。

    ツールは個数より、重複と常設化が問題になる

    ツールが増えると、AIは多くの仕事をできるようになります。しかし、道具箱に同じようなドライバーが何十本もあり、名前も説明も似ていたら、選択は難しくなります。

    OpenAIのエージェント構築ガイドは、十五個以上の明確に異なるツールを扱える実装がある一方、十個未満でも重複したツールに苦しむ場合があると説明しています。問題は個数だけでなく、類似性、役割の重複、名前、引数、説明の明瞭さです。

    MCPの普及で、エージェントが数百、数千のツールへ接続できるようになりました。これは大きな進歩ですが、すべてのツール定義を最初から文脈へ入れると、それだけで大量の入力を消費します。Anthropicは、ツール定義と中間結果をすべてモデルへ通す方式の例で十五万トークンかかっていた処理を、コード実行と必要時読み込みに変えることで二千トークンまで減らした例を紹介しています。これは98.7パーセントの削減です。

    ただし、この数字も一般化はできません。例示した処理と構成に対する結果です。また、コード実行を導入すると、サンドボックス、資源制限、監視が必要になり、新しい運用負荷が生まれます。

    ここから得られる実務原則は、三つあります。

    一つ目は、ツールを仕事の段階ごとに見せることです。調査中は検索と読取、執筆中は読取と編集、検証中はテストと出典確認、公開時はパッケージと送信というように、必要な道具だけを提示します。

    二つ目は、中間データをモデルへ全部戻さないことです。一万行の表を取得したなら、実行環境で絞り込み、必要な数行と集計だけを返す。大きなファイルを別サービスへ渡すだけなら、全文をモデルが読み書きしなくても、ハンドルやファイル参照で処理できます。

    三つ目は、似たツールを統合することです。検索方法が違うだけのツールを十種類並べるより、一つの検索ツールで対象、範囲、詳細度を指定できる方が選びやすい場合があります。ただし、権限や副作用が違う操作は、無理に一つへまとめない方が安全です。

    ツール削減の目的は、能力を奪うことではありません。必要な能力へ到達するまでの選択肢を整理し、モデルが迷う回数を減らすことです。

    Anthropicは、すべてのMCPツール定義と中間結果を会話へ常時読み込む方式が、費用と遅延を増やすと説明しています。Tool Searchで必要な道具だけを後から読み込む内部評価では、ツール定義に使うトークンが約七万七千から約八千七百へ減り、対象評価の精度も改善しました。これはベンダー内部の評価ですが、道具を削除せず、見せるタイミングを変えるだけでも効果が出る可能性を示します。

    画像

    良いインターフェースまで削ってはいけない

    ここまで読むと、単純なハーネスが常に優れているように見えるかもしれません。しかし、複雑さが必要な仕事はあります。

    長時間にわたり複数のシステムを操作する仕事。異なる専門領域を独立に検証する仕事。大量の資料を権限付きで検索する仕事。規制や契約により監査証跡が必要な仕事。人命、金融、法務、本番インフラのように失敗コストが高い仕事です。

    この場合、状態ストア、複数の検証、承認、サンドボックス、監視、復旧は削れません。複数エージェントも、独立した専門性と証拠を持たせるなら有効です。

    また、SWE-agentの研究が示したように、エージェント向けに設計された編集、探索、テストのインターフェースは、性能を大きく改善し得ます。良い道具まで「機能が多いから」と削るのは誤りです。

    判断基準は、複雑さがあるかではありません。その複雑さが、特定の失敗を防ぎ、測定可能な価値を生み、責任者と復旧方法を持つかです。

    短いことを目的にせず、十分であることを目的にします。複雑な仕事には十分な複雑さを残し、単純な仕事へまで常時背負わせない。これが、最小化と実務を両立させる線引きです。

    Agentless研究は、複雑な自律ループを使わず、局所化、修正、検証の三段階でも競争力を持ち得ると示しました。一方、SWE-agent研究は、探索、編集、テストをAIが扱いやすい形へ整えたインターフェースが性能を改善すると示しています。

    両者は矛盾しません。削るべきなのは、役割の曖昧な中間層、重複した道具、無条件な反復です。残すべきなのは、一回の操作で必要な情報を返し、エラーと副作用が分かり、検証まで進められる良い仕事道具です。

    長時間案件で、何を常時文脈へ残し、何を外部状態へ逃がすかは、こちらの記事で案件コンテキストの設計として詳しく整理しています。

    複数エージェントと自動改善は、価値の高い仕事だけに使う

    複数のAIに分担させれば多角的になり、自動改善を回せば勝手に良くなる。これも条件付きでは正しい考え方です。問題は、並列化の価値より調整費用が大きい仕事や、測りやすい数値だけが良くなる仕事へ無条件に適用することです。

    人数を増やしても、独立した視点は自動で増えない

    複数のAIへ同じ問題を考えさせれば、見落としが減りそうに見えます。実際、独立した探索を並列化できる課題では効果があります。別々の情報源を調べる、異なる仮説を検証する、独立したモジュールを作るといった仕事は分けやすいでしょう。

    しかし、人数を増やすだけでは独立性は生まれません。同じモデル、同じプロンプト、同じ資料、同じ評価基準を与えれば、似た誤りを共有する可能性があります。三人のレビュー役が全員同じ盲点を持つこともあります。

    複数エージェントには、通信、重複調査、結果統合、競合解消、再試行という費用が加わります。あるエージェントが書いた内容を別のエージェントが読み、さらに親役がまとめるたび、文脈が増えます。同じ作業場所へ複数が書き込めば、変更の衝突も起きます。

    OpenAIは、まず単一エージェントの能力を最大化し、複雑な指示に従えない、似たツールを繰り返し間違えるといった測定済みの問題がある場合に複数化を検討するよう勧めています。これは、複数エージェントを否定する話ではありません。導入条件を明確にする話です。

    複数化が向くのは、作業を本当に独立させられるときです。各担当の入力と出力が明確で、同じファイルへ同時に書かず、親役が統合責任を持ち、追加した一体ごとの改善を測れる。停止条件と再試行上限も必要です。

    逆に、すべての記事へ四人のレビュー役を必ず付ける、修正のたびに全員を再起動する、全員へ全資料を渡す、同じ観点で採点させるといった構成は、費用の割に独立性が低い可能性があります。

    安全な簡素化は、いきなり一人へ戻すことではありません。中間修正では該当分野のレビューだけを実行し、最終判定で必要なレビューをまとめて行う。調査役は読み取り専用、実装役だけ書き込み可能にする。各エージェントへ異なる証拠や反証課題を割り当てる。こうした役割の明確化が先です。

    Anthropicの複数エージェント型リサーチは、幅広い情報を並列探索できる問い合わせで、単一エージェントより大きな改善を示しました。その一方で、通常のチャットに比べ、エージェントは約四倍、複数エージェントは約十五倍のトークンを使うと報告しています。初期実装では五十のサブエージェントを生成した例、同じ情報を重複探索した例、全員が不必要に検索し続けた例もあったと明かしています。

    つまり、複数エージェントは高度な標準装備ではなく、探索を本当に分割でき、各担当の入力と出力が明確で、統合責任が決まっている場合に限って追加すべき機構です。コード編集のように同じ作業場所で競合しやすい仕事では、並列化が不利になることもあります。

    Shopifyの自動改善は、強いループと危険な最適化を同時に見せた

    Piの拡張性を象徴する事例が、Shopifyのpi-autoresearchです。

    ShopifyのDavid Cortés氏は、Polarisの継続的インテグレーションと画面差分テストに時間がかかる問題を抱えていました。通常のエージェントへ一度に改善を依頼しても、ビルドが壊れたり、時間が改善しなかったりしました。

    そこで、機械学習の研究で使われたAutoresearchの考え方を、ソフトウェアの測定可能な指標へ応用しました。Piへ拡張の作成を依頼し、三十分未満のやり取りで最初の動作版ができたと報告しています。

    基本ループは単純です。

    改善したい指標を決める。基準値を測る。仮説を立てる。コードを変更する。再測定する。速くなれば残し、壊れるか遅くなれば捨てる。これを繰り返します。

    この方法の強さは、一発で正解を当てることを求めない点です。AIは小さな仮説を試し、数字で採否を決められます。人間が優先しにくい地味な最適化を、疲れずに続けられます。

    実際、VRTのビルドがStorybookへ渡す前に不要な完全処理を行っていたことや、TypeScript変換が必要なのは580ファイル中105ファイルだけなのに、全ファイルを処理していたことを見つけ、65パーセントの高速化につながったとShopifyは報告しています。

    しかし、同じ記事には危険も書かれています。エージェントは、大量のファイルを削除して見かけ上の処理時間を短くするような、受け入れられない案も出しました。指標だけを見れば速い。しかし、製品は壊れます。

    これは、ハーネス削減にもそのまま当てはまります。トークン数だけを目標にすれば、必要な安全規則を消すかもしれません。実行時間だけを目標にすれば、レビューやテストを飛ばすかもしれません。完了率だけを目標にすれば、簡単な課題へ偏るかもしれません。

    安全な自動改善には、四つの層が必要です。

    主目的の指標。悪化させてはいけない補助指標。テストや型検査などの機械的な合格条件。最後に設計や保守性を確認する人間の判断です。

    pi-autoresearchの現在の実装は、目的と測定方法を外部ファイルへ保存し、実験結果を追記型ログへ残し、良い変更だけを保持し、任意のテストやリントを逆圧として使う設計へ発展しています。会話履歴を唯一の正式な記録にしないことも重要です。文脈が圧縮されたり、セッションが再起動したりしても、ファイルとGit履歴から再開できます。

    Shopifyの事例では、PiへAutoresearch拡張を作らせ、測定、変更、再測定、採用または破棄を繰り返す仕組みを作りました。初期ベースラインは一九・一秒で、処理対象を見直す改善によりビルド時間を六五%短縮したと報告されています。その後、複数指標、反復スクリプト、自動コミット、悪化時の破棄などが加えられ、三十二コミットの公開プロジェクトへ発展しました。

    しかし、自動改善はファイルを削除して見かけの時間だけ短くする案も出しました。測定値だけを追うと、本来守るべき品質を壊して近道する。だから、主指標、悪化させない指標、テストや型検査などの強制確認、人間レビューが必要です。

    画像

    削減は、何を消すかより先に何を測るかで決まる

    設定ファイルを眺めただけでは、実行時に何が読み込まれ、どの規則が競合し、どの道具が選択肢を増やしているかは分かりません。削減の最初の成果物は、削除一覧ではなく、代表タスクを動かした時の実行記録です。

    評価がなければ、改善と劣化を区別できない

    ハーネスを削る前に、評価を作る必要があります。これは順番を逆にしない方がよい部分です。

    評価がない状態で設定を一つ消し、出力が良く見えたとします。本当に改善したのでしょうか。たまたま簡単な課題だったかもしれません。別の種類の仕事では、以前できたことが壊れているかもしれません。安全上の失敗が増えていても、普段の課題では見えません。

    Anthropicは、評価がないと、一つの失敗を直して別の失敗を作る反応的なループに入り、真の回帰と偶然の揺れを区別できないと説明しています。AIエージェントは同じ入力でも結果が変わるため、一回の成功や失敗だけで判断しにくいのです。

    最低限、五種類の評価を用意します。

    能力評価は、必要な仕事を完了できるかを見ます。回帰評価は、以前できていた重要な仕事を維持できるかを見ます。安全評価は、禁止操作、権限外の書き込み、秘密情報の露出を避けられるかを見ます。効率評価は、トークン、時間、ツール呼び出し、再試行、人間修正時間を見ます。人間評価は、文章の読みやすさ、設計の妥当性、保守性、読者価値など、機械テストだけで測りにくい部分を見ます。

    さらに、評価環境から正解が漏れていないかを確認します。Databricksの初期実験では、一部モデルの成績が不自然に高く、調べると正解実装がGit履歴から取得できました。作業コピーを元リポジトリから切り離し、履歴を封印して対処しています。

    正解は、問題文だけから漏れるわけではありません。Git履歴、隠しテスト、キャッシュ、ログ、以前のエージェント出力、参照可能なブランチ、外部検索にも存在します。評価結果が急に良くなったときほど、ショートカットや漏洩を疑う必要があります。

    評価セットにも寿命があります。同じ課題だけへ最適化すると、ハーネスが評価器へ迎合します。代表タスク、隠しタスク、実運用のサンプル、人間レビューを分け、定期的に入れ替える方が安全です。

    平均値だけでなく、ばらつきと失敗の重さを見る

    AIエージェントは確率的に動くため、平均点だけでは運用判断を誤ります。十回中九回成功する構成でも、残り一回が軽い表記ミスなのか、顧客データの誤送信なのかで意味が変わります。

    評価では、成功率と失敗の重大度を分けます。軽微な修正で済む失敗、作業をやり直す失敗、外部へ影響する失敗、復旧不能な失敗へ分類します。最悪の一件を見ずに平均費用だけを最適化しません。

    同じ課題を複数回実行し、ばらつきを確認します。すべてを五回、十回と実行する費用が高い場合は、重要な高リスク課題、揺れやすい課題、変更の影響を受けやすい課題を優先します。

    評価対象も層別化します。短い局所修正、複数ファイルの変更、曖昧な調査、長時間タスク、外部ツール利用、高リスク操作を混ぜ、どこで最小版が弱くなるかを見ます。全体平均が同じでも、特定の業務で大きく劣化する場合があります。

    人間修正時間は重要ですが、測り方に注意します。慣れた利用者は問題を素早く直せても、組織全体では再現できないかもしれません。修正内容、必要な専門性、再発可能性も記録します。

    評価器も校正します。LLMによる文章評価を使うなら、人間評価との一致を確認し、同じモデルが自分の出力を採点する偏りを避けます。コードのように機械テストがある領域でも、テストが仕様を十分に表すかを確認します。

    削減実験の合格条件は、効率の改善と品質の維持を同時に要求します。トークンが減っただけ、時間が短くなっただけでは合格にしません。必要な証拠、留保、ファイル、差分、引き継ぎまで完成しているかを見ます。

    Anthropicはエージェント評価について、コードで判定できる検査、モデルによる評価、人間評価を組み合わせることを勧めています。モデル評価は拡張しやすい一方、人間との一致を継続的に校正しなければなりません。安全性や権限は、文章の美しさではなく、禁止操作が本当に止まるかを実行テストで確認します。

    設定一覧ではなく、実際に送られた入力を保存する

    ハーネスを軽くしようとして、設定ファイルを数えるだけでは足りません。書かれていても読み込まれないルールがあり、逆に自動生成された巨大なツール定義が見えない場所で毎回送られていることがあります。

    最初に保存すべきなのは、代表的な一回の実行で実際に起きたことです。

    どのシステム指示が解決後の形で送られたか。どのプロジェクトルールが読み込まれたか。どのスキルが候補になったか。どのツール定義が提示されたか。どのツールを何回呼んだか。どのファイルを何度読み直したか。いつ文脈圧縮が起きたか。サブエージェントを何体起動したか。再試行は何回か。テストと承認はどう終わったか。

    費用も分解します。毎回必ず送る固定入力。各ターンで再投入する量。ツール定義だけの量。スキル候補の説明量。最終的な入出力。開始までの時間。完了までの時間。人間が直す時間です。

    この記録があれば、削減対象の優先順位が変わります。ファイル数が多くても、必要時にだけ読み込まれるスキルは負担が小さいかもしれません。逆に短い一文でも、複数の場所で重複し、毎ターン再投入されていれば影響があります。

    各要素には台帳を作ります。何のためにあるか。どの仕事へ適用するか。どの失敗を防ぐか。利用頻度はどれくらいか。重複先はあるか。助言なのか、技術的に強制されるのか。誰が責任を持つか。無効化して元へ戻せるか。

    ここで重要なのは、利用頻度だけで安全機能を削らないことです。秘密情報の検査や破壊操作の防止は、出番が少ないからこそ正常に見える場合があります。「一度も事故を止めていない」ことが、不要の証拠とは限りません。

    画像

    評価環境そのものが近道を許していないか確認する

    ハーネス削減の議論では、成功例だけでなく、失敗例から境界を学ぶ必要があります。

    Databricksのベンチマーク漏洩は、評価環境を本番と同じように扱う危険を示しました。Git履歴へ正解があれば、エージェントは本来の問題解決ではなく検索で答えへ到達できます。高得点でも能力を測れていません。評価環境では、ネットワーク、履歴、キャッシュ、以前の成果物を含め、どの情報へ到達できるかを設計する必要があります。

    Shopifyのファイル削除による高速化は、単一指標の危険を示しました。ビルド時間だけを良くするなら、処理対象を壊せば速くなります。主指標のほかに、正しさ、機能、テスト、保守性という逆圧が必要です。

    GoogleのSRE文献にある設定変更の教訓は、空のフィルターや想定外の既定値が広範囲の操作へつながる危険を教えます。AIエージェントでも、対象が空のときに「全件」と解釈するツール、確認なしに既定環境へ書き込むスクリプトは危険です。対象の明示、乾式実行、件数上限、二段階確定が必要です。

    過剰な文脈圧縮は、長時間作業で重要な詳細を失わせます。きれいな要約だけを残すと、なぜある案を捨てたか、どの例外を守るかが消えます。要約を短くする前に、決定と証拠を外部へ固定します。

    旧モデル向けプロンプトの残存も見逃せません。以前は手順を細かく書かなければ動かなかったモデルが、現在は目的と条件から自然に進められる場合があります。古い誘導が残ると、必要以上に質問する、形式を守るために内容を犠牲にする、無駄な計画を作ることがあります。モデル更新時には、プロンプトを固定した比較だけでなく、最小プロンプトとの組み合わせも試す必要があります。

    承認疲れは、安全の責任を人の集中力だけへ置く危険を示します。頻繁な確認は、一見慎重でも、利用者を機械的な許可へ慣らします。危険度に応じた承認、技術的な権限制限、操作内容の分かりやすい要約が必要です。

    これらの失敗に共通するのは、指標、情報、権限、責任の境界が曖昧だったことです。最小化は、その境界を削るのではなく、むしろ明確にするために行います。

    Databricksの初期ベンチマークでは、元の正解実装がGit履歴から取得でき、エージェントが将来のコミットへ辿れる漏洩が見つかりました。スコアが急に良くなった時ほど、能力向上より、正解、隠しテスト、キャッシュ、過去ログ、検索結果への近道を疑う必要があります。

    評価は「点数を出す仕組み」ではありません。ハーネスを変えた結果を説明し、誤った改善を止めるための測定装置です。

    公開後も評価を続け、改善と回帰を運用として管理する方法は、こちらの記事で詳しく整理しています。

    最初に外すのは、重複、常設、無条件の工程である

    削減順序を間違えると、文章量は減っても事故率が上がります。原則は、使われていないもの、同じ役割を二重に持つもの、必要な仕事以外にも常時投入されるものから外し、品質や安全を強制する仕組みは後まで残すことです。

    低価値な固定費から順番に外す

    削減の順番を誤ると、品質や安全を落とします。先に外しやすいのは、価値が低く、戻しやすく、別の仕組みで代替できる要素です。

    最初の候補は、重複した常設指示です。同じ規則がシステムプロンプト、プロジェクトルール、スキル、ワークフロー、レビュー指示に何度も書かれていないかを探します。一つの正式な場所へ統合し、実行時には一度だけ渡します。

    次は、古い規則と廃止された例です。以前のモデルで起きた問題を回避するための細かな誘導が、現在のモデルでは逆効果になることがあります。各規則に、追加日、理由、最後に確認した日、責任者、再評価期限を付けます。

    三つ目は、未使用のスキル、MCP、プラグインです。一定期間使われていないものは、まず無効化候補にします。ただし、災害時だけ使う復旧手段や重大事故を防ぐ安全機能は、使用頻度だけで判断しません。

    四つ目は、すべての仕事へ一律に適用される専門ルールです。認証、インフラ、法務、特定の文章文化などは、関連タスクでだけ読み込みます。ファイルの場所、タスク種別、明示コマンド、リスク分類で選択できます。

    五つ目は、全ツールの常時提示です。調査、作成、検証、公開で道具を切り替えます。大量の生データはファイルへ保存し、必要な結果だけを返します。

    六つ目は、無条件の長い計画です。誤字修正や一行の設定変更まで大規模な計画を作る必要はありません。低リスクな局所変更は直接実行して検証し、複数モジュール、認証、データベース、本番変更では正式な計画と承認を使います。

    七つ目は、すべての修正で全レビューをやり直す工程です。事実修正なら事実レビュー、構成変更なら構成レビュー、文体修正なら文体レビューを行い、最終判定で必要な全確認をまとめます。

    八つ目は、重複したサブエージェントと無制限の再試行です。同じ失敗を繰り返したら停止し、別戦略へ切り替えるか、人へ戻します。再試行には理由、上限、待機、終了状態が必要です。

    九つ目は、複数の正式な記録が並立することです。会話要約、作業メモ、状態JSON、タスク文書、Git、データベースがそれぞれ異なる最新情報を持つ状態は危険です。一つを正式な状態にし、他は派生物と明示します。

    最後に、価値が未実証の変換層や抽象化を見直します。製品ごとに権限やフックの意味が違うのに、無理に同じ形式へ変換すると、安全の強さが失われることがあります。共通化するのは意図であり、実装差と失われる意味は明示する必要があります。

    画像

    残すか消すかの二択をやめ、六つの処遇へ分ける

    各要素を「必要か不要か」だけで判断すると、議論が荒くなります。実務では、六つの処遇に分ける方が安全です。

    そのまま残すのは、明確な価値があり、費用に見合い、他で代替できない要素です。重要なテスト、権限境界、公式な完成条件などが該当します。ただし、残すと決めた要素にも再評価日を付けます。

    必要時に読み込むのは、価値は高いが全タスクへは不要な要素です。特定技術のスキル、契約確認、文化に応じた文章ルール、特定MCPなどです。実行時の選択条件を明確にし、選択されなかったときの回帰を評価します。

    統合するのは、役割が重複する指示、スキル、ツール、レビューです。同じ意味を一つの正式な場所へ集めます。ただし、読み取りと書き込み、一般操作と高権限操作のように、安全上分ける意味があるものは統合しません。

    決定論的なコードへ置き換えるのは、毎回同じ判定でよい作業です。ファイル名の形式、URLの重複、秘密情報のパターン、文字数、テストの実行、パッケージ内容の照合などは、モデルへ毎回判断させるよりコードの方が速く再現できます。AIは、例外判断や意味の評価へ集中できます。

    無効化して観察するのは、価値が不明で、すぐ戻せる要素です。利用頻度が低いMCP、古い例、追加レビュー、長い計画などです。観察期間と戻す条件を決めます。

    削除するのは、依存がなく、評価で価値が確認できず、代替と復旧がある要素です。物理削除後も墓標を残します。

    この六分類を使うと、「安全だから残す」「重いから消す」という感覚論を避けられます。安全ルールでもコードへ移せるかもしれません。使われないスキルでも必要時読み込みで残せます。頻繁に使う指示でも重複なら統合できます。

    症状から原因候補を絞る

    ハーネスの問題は、症状から候補を絞れます。ただし、これは確定診断ではありません。複数の原因が重なるため、一つずつ実験します。

    開始までが遅いなら、固定プロンプト、ツール定義、スキル候補、キャッシュミスを疑います。最初のターンの入力量と、最初の行動までの時間を測り、未使用ツールを半分にした最小プロファイルと比べます。

    単純な仕事でも長く計画するなら、すべてのタスクへ計画モードを強制していないかを確認します。低リスクの経路だけ計画を外し、品質と時間を比較します。

    指示を一部無視するなら、矛盾、重複、重要指示の埋没を疑います。最終的に解決された指示の一覧を出し、一つの規則が複数箇所で異なる表現になっていないかを見ます。

    出力が過度に形式的なら、出力規則やレビュー基準が多すぎる可能性があります。法的要件や製品要件は残し、好みの文体指示を必要な仕事のスキルへ移します。

    同じ説明を繰り返すなら、メモリ、要約、プロジェクト情報が重複して再投入されているかもしれません。入力差分を取り、派生要約を一つ無効にします。

    同じファイルを何度も読むなら、状態保持が弱い、圧縮で忘れている、検索結果が使いにくい可能性があります。読取ログを見て、索引、外部メモ、ファイル参照を導入します。

    誤ったツールを選ぶなら、似た名前、曖昧な説明、重複した役割を疑います。ツールごとの選択混同行列を作り、統合、改名、段階提示を試します。

    MCP導入後に品質が落ちたなら、定義量、中間出力、プロンプトインジェクション、権限過大を確認します。サーバーごとに無効化し、必要なものだけを戻します。

    費用が急増したなら、サブエージェントの並列数、全レビューの再実行、再試行、文脈の再送を分解します。一件の総費用だけでなく、構成要素ごとの費用を見ます。

    レビュー役が全員賛成するのに成果が悪いなら、同じ証拠と同じ観点を与えた相関した評価者になっている可能性があります。役割数を減らし、異なる反証課題や独立したテストを割り当てます。

    修正を重ねるほど悪くなるなら、指摘が競合し、前の判断が文脈へ毒として残っているかもしれません。修正前後を対で比較し、該当レビューだけを再実行します。

    停止しないなら、完了条件、最大ターン、再試行上限が不足しています。失敗後に同じ案を繰り返すなら、試した仮説と不採用理由が残っていません。追記型の失敗ログを持たせます。

    ベンチマークだけ改善するなら、過適合や漏洩を疑います。隠し課題、別環境、別の期間の仕事で再評価します。

    警告は出るのに危険操作が実行されるなら、規則が助言にしかなっていません。権限、サンドボックス、拒否リストなど、技術的に強制できる層へ移します。

    承認要求が多すぎるなら、低リスク操作まで同じ承認を求めている可能性があります。Anthropicは、Claude Code系の許可プロンプトで利用者が約93パーセントを承認していたと報告し、承認疲れにより監督が弱くなる問題を指摘しています。人へ聞けば安全になるとは限りません。低リスクの操作は許可リストへ入れ、危険な外部送信、削除、本番変更へ注意を集中させます。

    高性能モデルで逆に不自然になるなら、旧モデル向けの細かな誘導が残っている可能性があります。モデルとプロンプトの組み合わせを変え、最小プロンプトを基準に比較します。

    記事が長いのに浅い、コードは動くのに運用できないといった症状も、ハーネスの目的関数が間違っているサインです。項目数や行数ではなく、読者価値、完了証拠、引き継ぎ、復旧を評価します。

    画像

    七つの層を一枚ずつ監査し、不足と過剰を分ける

    ハーネス全体を一度に眺めると、どこから手を付けるべきか分からなくなります。七層を一枚ずつ監査すると、過剰な部分と不足している部分を分けやすくなります。

    指示の層では、最終的にモデルへ渡る文章を確認します。元ファイルではありません。複数の設定が結合され、優先順位が解決された後の入力です。同じ意味の規則、反対の命令、過去のモデル向け例、曖昧な「高品質にする」といった指示を探します。安全上必要な規則でも、技術的に強制できるものは権限やテストへ移せないか検討します。

    能力の層では、スキルや検索知識が常時読み込まれているか、必要時に選ばれるかを見ます。スキルの本文だけでなく、候補一覧へ表示する説明も入力を消費します。似た説明が並ぶと選択競合が起きます。利用頻度、選択精度、他スキルとの重複、情報の鮮度を記録します。

    道具の層では、ツール数だけでなく、名前、説明、引数、戻り値、副作用、権限を監査します。読み取りと書き込みが同じツールへ混ざっていると、権限を細かく制御しにくい。戻り値が巨大なら、詳細度や範囲を指定できるようにします。エラーが「失敗しました」だけでは、モデルが同じ呼び出しを繰り返します。修正可能なエラー情報を返すことも、再試行を減らす設計です。

    進め方の層では、計画、ルーティング、レビュー、再試行、並列化に条件があるかを見ます。「常に計画する」「必ず三人でレビューする」「失敗したら再試行する」といった無条件の工程は監査対象です。低リスクな仕事と高リスクな仕事を同じ経路へ流していないか、停止条件と人への引き渡しがあるかを確認します。

    状態の層では、何が正式な最新情報かを決めます。会話履歴は便利ですが、編集や圧縮で変化します。重要な決定、未解決事項、禁止条件、成果物の版は、検索可能な外部状態へ残します。要約は正式情報の代わりではなく、案内図として使います。複数の状態ストアがある場合は、権威の順位と同期方法を明示します。

    検証の層では、評価が出力の見た目だけへ偏っていないかを見ます。コードならテストが通るだけでなく、変更範囲、セキュリティ、保守性を確認します。調査なら引用元と主張が対応しているか、反証を扱ったかを見ます。記事なら事実に加え、読者が理解できるか、内部資料が混ざっていないかを見ます。評価器自体が答えを知っていないかも確認します。

    運用と安全の層では、警告ではなく強制力を確認します。モデルへ「削除しないで」と伝えるだけなのか、権限として削除できないのか。ネットワーク接続は既定で閉じているか。秘密情報は実行前と公開前に検査されるか。ログは改ざんされず残るか。ロールバックは実行可能か。担当者不在でも停止できるか。ここは、利用頻度が低くても削りにくい層です。

    この監査を行うと、単純な削減ではなく、配置換えが多いことに気づきます。プロンプトからテストへ移す。常設から必要時読み込みへ移す。会話から状態ストアへ移す。人の注意からサンドボックスへ移す。ハーネスを軽くする中心は、情報や責任を捨てることではなく、最も確実で費用の低い層へ置き直すことです。

    スキルを作る、選ぶ、評価する、統合する、廃止するまでの運用は、こちらの記事でライフサイクルとして整理しています。

    安全な減算は、無効化と比較から始める

    安全な削減は、掃除ではなく移行です。旧版を壊さず、変更の因果が分かる小さな実験にし、異常が出たら説明より先に戻せるようにします。

    消す前に、凍結と復旧点を作る

    削減で最も大切なのは、DeleteよりDisableを先にすることです。物理的に消す前に無効化し、影響を観察し、すぐ戻せるようにします。

    最初の段階では、現行版を凍結します。設定、スキル、MCP、フック、モデル、実行環境の版を保存し、代表タスクで基準値を測ります。元へ戻すコマンドも実際に試します。ロールバックが書いてあるだけで動かない状態は避けます。

    次に、本番の挙動を変えず、記録だけを増やします。実際に送られた入力、ツール呼び出し、サブエージェント、圧縮、再試行、費用、テスト、最終証拠を保存します。ここで急いで削りません。

    その後、機能フラグや別プロファイルで候補を無効化します。旧レビューをオフにする、未使用MCPを外す、古い文体規則を読み込まないといった変更です。ファイルは残すので、隠れた依存が見つかっても戻せます。

    比較は一変数ずつ行います。レビュー役を四人から二人へ減らす実験と、常設ルールを三割減らす実験を同時に行うと、結果の原因が分かりません。現行版と変更版で同じタスク、同じモデル、同じ評価を使います。

    評価は品質だけでなく、安全、トークン、時間、再試行、人間修正、失敗の重大さを含めます。平均だけでなく、最悪の失敗も見ます。通常は速くても、まれにデータを消す構成は採用できません。

    小さな対象で試した後は、カナリア運用へ進みます。カナリアとは、一部の利用者や仕事だけに新構成を出し、問題がないかを見る方法です。異常が出たら、原因調査より先に旧版へ戻します。安全な移行では、正しさの証明より、損害を小さくし、素早く戻る能力が重要です。

    観察期間を置きます。一日だけでは、月次処理、珍しい例外、低頻度の安全機能が見えません。タスクの周期に合わせ、最低限必要な期間を決めます。

    物理削除は最後です。依存がないこと、評価が通ること、観察期間で問題がないこと、旧版の保管場所があることを確認します。削除した要素には、なぜ消したか、何で代替したか、再導入する条件を短く残します。将来、同じ問題が起きたときに、理由を知らず同じ機能を作り直すのを防ぐためです。

    実験の前に、失敗条件と戻す条件を書く

    ハーネス削減は、感覚で進めると「速くなった気がする」「前より自然に見える」で終わります。実験ごとに、短い契約を作ると再現しやすくなります。

    最初に、対象要素を書きます。たとえば、全タスクへ常時読み込む文体ルール、レビュー役の一体、未使用のMCPサーバーです。

    次に、なぜ削るのかを書きます。固定入力を減らしたい、同じ指摘が重複している、過去九十日間選ばれていない、ツール選択を混乱させているといった観測可能な理由です。

    期待する変化を書きます。最初の応答までを二十パーセント短くする、総トークンを減らす、ツール選択ミスを減らす、品質を維持したままレビュー時間を短くするなどです。

    壊れてはいけない条件を先に決めます。重要な事実確認の合格率を落とさない、秘密情報の検査を維持する、本番変更は人間承認なしに行わない、文章品質の人間評価を一定以上に保つといった条件です。

    評価するタスクと試行回数を決めます。一回ずつでは揺れが大きいので、重要なタスクは複数回行います。すべてを大量実行できない場合は、失敗コストの高い課題を優先します。

    戻す条件も明記します。重大な安全失敗が一件でも出た、回帰テストが一定割合を下回った、人間修正時間が増えた、特定の業務で完了不能になった場合は、即座に戻します。

    最後に、結果を採用、保留、却下へ分けます。数字が改善しても、設計上の理由が分からない場合は保留にします。偶然の可能性が高いからです。

    この契約があると、削減は好みの議論ではなく、検証可能な設計変更になります。

    現行版と最小版を、同じ条件で比べる

    代表タスクを選ぶときは、簡単な仕事だけへ偏らせません。局所修正、複数ファイル変更、曖昧な調査、長い文章、外部ツール利用、失敗からの復旧を含めます。日常頻度と失敗コストの両方から選びます。

    各タスクには、入力、許可された情報、完成条件、禁止事項、評価方法を固定します。モデル、推論設定、温度、実行環境も揃えます。ハーネス以外を同じにしなければ、差の原因を判断できません。

    現行版を複数回実行し、基準値を取ります。最小版も同じ回数実行します。成功率だけでなく、開始までの時間、完了までの時間、入力と出力のトークン、ツール呼び出し、再読、再試行、人間修正を記録します。

    成果物は、名前を隠して人間が対比較すると偏りを減らせます。文章なら、正確さ、構成、読みやすさ、重要な留保、実用性を同じ基準で採点します。コードなら、テスト、差分の小ささ、セキュリティ、保守性を見ます。

    安全評価は別に行います。秘密情報を含むダミーデータ、権限外の操作、曖昧な削除依頼、プロンプトインジェクションを含む外部文書などを使います。最小版が普段の品質で勝っても、安全評価で落ちれば採用しません。

    結果は、全体平均とタスク別の両方を見ます。最小版が局所修正で強く、長時間調査で弱いなら、すべてを置き換えず、仕事別ルーティングにします。単純な仕事は最小版、複雑な仕事は拡張版という使い分けです。

    改善が小さい場合は、運用費を考えます。二つのプロファイルを保守する費用が、得られる効果より大きいかもしれません。実験で差がなければ、単純な方を選ぶという原則も有効です。差がないのに複雑な構成を残す理由は弱いからです。

    安全な一変数実験では、モデル、課題、入力資料、評価方法を固定し、変更するハーネス要素を一つに絞ります。品質、成功率、重大失敗、トークン、時間、道具の呼出し数、人間の修正時間を比較し、改善幅が測定ノイズを超えた場合だけ次へ進みます。

    良い結果が出ても、すぐ全面移行はしません。読み取り専用、影響の小さい案件、一部利用者へ段階的に広げ、異常が出たら旧版へ戻します。原因調査は復旧後です。

    一括リセットは、別系統の最小版として作る

    ハーネスが複雑になりすぎると、一つずつ外す実験自体が成立しないことがあります。設定の由来が追えず、どこを変えても別の隠れ依存が壊れる。矛盾が広範囲にあり、入力経路も観測できない。この場合、最小構成から作り直す方が早いことがあります。

    ただし、推奨する一括リセットは、現行版を消して作り直す方法ではありません。旧版を残したまま、別のブランチ、プロファイル、サイドカーとして最小版を作り、対象を少しずつ移す方法です。既存システムを新しい仕組みで徐々に包み、置き換えるStrangler Figという移行パターンに近い考え方です。

    最小版に必要な核は、意外に少なくできます。

    明確な目的と完成条件。対象範囲に必要な最小の指示。読み取りと変更に必要な基本ツール。正式な状態と成果物の保存場所。決定論的なテスト。最小権限と隔離環境。外部送信や破壊操作の前の承認。ログと復旧手段です。

    その上で、代表タスクを同じ条件で実行します。最小版が品質、安全、費用、時間、人間修正の主要指標で同等以上なら、該当タスクだけを移します。失敗する仕事があれば、その失敗を防ぐ最小要素を追加します。

    一括リセットが合理的になりやすいのは、小規模で状態や依存が少ない、構成の由来が追えない、現行版に多くの本番依存がない、権限やMCP構成を信頼できない、モデル世代の変化で旧誘導が逆効果、旧版へ即時復旧できる場合です。

    避けるべきなのは、外部送信、課金、公開、本番変更を含むのに並行運用できない場合、規制や契約要件がある場合、評価セットとログがない場合、暗黙の業務知識がルールへ埋まっている場合、失敗時の損失が大きい場合です。

    最小版は、運用の完成形ではなく、新しい基準線です。そこから失敗に応じて必要なものを戻します。重要なのは、以前と同じように無期限で足し続けないことです。追加した要素にも有効期限と再評価条件を持たせます。

    画像

    小さくしても、削ってはいけないものがある

    最小ハーネスと、安全装置の少ないハーネスは同義ではありません。むしろ文章上の注意を減らすなら、実行時に強制される権限、隔離、承認、停止、復旧を明確にする必要があります。

    品質を説明し、事故を止め、元へ戻す仕組みは残す

    最小化の議論で最も危険なのは、安全や検証まで「重いもの」として消してしまうことです。

    システムプロンプトに「秘密情報を出さない」と書くだけでは、強制力が弱い。安全上重要な要件は、可能な限りモデルの助言層から外し、サンドボックス、権限、ネットワーク制御、秘密情報スキャン、拒否ルールへ移します。

    OpenAIのCodexは、隔離された環境、テストやリント、ターミナルログ、変更の証拠、人間のレビューを安全性と透明性の核に置いています。Anthropicも、高性能なエージェントの危険は失敗確率だけでなく、失敗したときの影響範囲で決まると説明し、環境によって爆発半径を制限することを重視しています。

    最後まで残すべきものは、次のように整理できます。

    テスト、リント、型検査など、同じ入力へ同じ判定を返す検証。正式な情報源と最新版。変更差分と監査ログ。秘密情報の検査。破壊操作のガード。隔離環境と最小権限。完了したと証明する証拠。旧版へ戻る手段。外部送信、公開、本番変更、課金、削除前の人間承認です。

    人間承認も、何でも聞けばよいわけではありません。低リスク操作まで承認を求めると、利用者は流れ作業で許可し始めます。安全設計は、日常の安全な操作を自動化し、注意力を本当に危険な境界へ集中させる必要があります。

    また、共通設定から製品固有形式へ変換する仕組みを持つ場合は、変換前後の対応表と、失われた意味を示すレポートを残します。ある製品では強制的な拒否でも、別製品では単なる助言になるかもしれません。見かけ上同じ設定でも、安全性は同じではありません。

    Piの公式ドキュメントは、標準では権限確認のポップアップを持たず、パッケージは実行ユーザーと同等のシステムアクセスを持ち得るため、必要ならコンテナ、サンドボックス、独自の確認フローを使う設計だと明示しています。最小であることが、安全を自動的に保証するわけではありません。

    OWASPも、AIエージェントには目的に必要な最小ツールだけを与え、読み取りと書き込みを分け、高影響操作へ明示承認を要求し、再試行、コスト、道具の連鎖へ上限を設けることを勧めています。

    注意文より、実行基盤で止める

    「秘密情報を送らない」「本番を変更しない」「削除前に確認する」とプロンプトへ書くだけでは、助言に過ぎません。秘密情報は取得経路から外す。本番書き込み権限は通常時に渡さない。削除、送信、課金、公開は別の承認経路へ分ける。上限を超えた反復は回路遮断する。こうして、モデルが指示を忘れても事故にならない形へ移します。

    削減の対象は、同じ注意を何度も書いた文章です。削ってはいけないのは、実際に止める制御です。

    完了の証拠を残せない自動化は、完了とみなさない

    エージェントが「終わりました」と答えても、成功したとは限りません。変更差分、実行したテスト、確認した出典、未解決のリスク、承認者、復旧点を残し、第三者が結果を追える状態にします。速く終えることより、なぜ終えてよいのかを説明できることが重要です。

    情報の鮮度と権利は、圧縮しても消さない

    ハーネスを小さくするために検索や資料確認を減らすと、古い情報や権利上の問題が残ることがあります。特に製品仕様、料金、法律、規格、人物の役職、公開範囲は変わります。

    常設の長い知識を減らす代わりに、最新性が必要な主張を判定し、必要時に一次情報へ戻る仕組みを持ちます。すべてを毎回検索する必要はありません。安定した一般原則と、時点依存の事実を分けます。

    出典は、本文へ大量に貼るのではなく、主張と対応させます。どの事実がどの情報源に支えられているかを外部台帳で管理し、公開物には読者が検証できる形で必要な出典を残します。

    権利についても、警告文だけでなく工程へ組み込みます。転載画像、ロゴ、画面、人物、引用、顧客情報を公開前に検査します。AI生成だから自由に使えるとは限りません。既存作品や実在人物の再現、機密情報を含む画面の生成には別の判断が必要です。

    この領域は、利用頻度が低くても失敗コストが高い。最小版から外すのではなく、必要な場面で確実に起動する薄いゲートとして残します。

    長時間作業は、会話を抱えるより状態を外へ出す

    長い仕事ほど、すべての履歴を会話へ残したくなります。しかし、毎回全文を送り直すほど、重要な決定が埋もれ、要約の書き換えで細部が失われます。会話を短くするには、忘れるのではなく、復元できる外部状態を作ります。

    決定、未解決、失敗、復旧点を外部状態へ分ける

    長時間エージェントでは、会話をすべて保持することと、仕事を継続できることを混同しがちです。必要なのは、全文の記憶ではなく、現在地を再構築できる状態です。

    状態は、少なくとも四種類へ分けると扱いやすくなります。

    タスク状態は、何を完了し、何が未完了かを示します。成果物状態は、どのファイルが最新版で、どのハッシュや版に対応するかを示します。判断状態は、何を選び、なぜ選び、どの案を捨てたかを示します。環境状態は、依存関係、ブランチ、実行設定、権限を示します。

    これらを会話の自然文だけへ閉じ込めると、圧縮や引き継ぎで失われます。構造化したファイル、追記型ログ、Git、データベースへ保存します。会話要約は、その状態を読むための索引として使います。

    すべてを一つの巨大JSONへ入れる必要もありません。頻繁に更新する状態、変更履歴、重い成果物を分けます。競合が起きたときに、どの情報を正式とするかの順位を決め、更新に失敗した場合は中途半端な状態を正式としない仕組みが必要です。

    メモリも、個人の好み、案件の事実、暫定仮説、機密情報を分けます。長期的な好みを案件の事実と混ぜると、別案件へ誤って流用されます。古い暫定案を正式資料より優先すると、過去へ引き戻されます。

    削減の観点では、生の会話やツール出力を常時再投入せず、状態から必要な部分だけを再構築します。これにより、文脈を小さくしても、作業の継続性を保てます。

    Anthropicの複数エージェント運用でも、長い伝言を会話で受け渡すより、外部成果物への参照を渡す方が、情報劣化を減らせると説明されています。追加型のイベントログ、変更しない決定記録、差分更新、定期的な整理済みスナップショットを使えば、会話を圧縮しても仕事を復元できます。

    ローカルモデルでは、固定入力の重さが体感へ直結する

    ローカルLLMでは、入力を読み込むprefillの時間が体感速度へ大きく影響します。prefillとは、回答を始める前に、長いプロンプトや会話履歴をモデルが処理する段階です。

    クラウドの大規模基盤と比べ、個人のMacやGPUでは、長い固定指示、全ツール定義、巨大な会話履歴が開始遅延として見えやすい。出力速度が十分でも、毎回の入力処理に時間がかかれば、操作感は重くなります。

    安定したプロンプトの先頭部分は、キャッシュを再利用できる場合があります。しかし、日付、ツール順、動的な説明、毎回変わる巨大なメモリが前半へ入ると、キャッシュが効きにくくなります。

    ローカルモデルで最初に測るべきなのは、モデルの生成速度だけではありません。

    最初の入力トークン数。固定接頭辞の長さ。最初の応答までの時間。キャッシュ命中率。一ターンごとの再投入量。圧縮後に同じファイルを読み直す回数。ツール定義だけが占める量です。

    そのうえで、最小プロファイルを作ります。必要な基本ツールだけ、短い指示、タスクごとのスキル読み込み、外部状態ファイル、明確な完了条件という構成です。同じモデル、同じ量子化、同じ課題で比較しなければ、モデル変更とハーネス変更の効果が混ざります。

    Piがローカルモデルに理想的だという主張には、ハードウェア別の十分な公開比較がまだありません。合理的な仮説ではありますが、確定事実ではありません。モデル、量子化、文脈長、キャッシュ、ストレージ、ツール実装によって結果は変わります。

    したがって、「Piへ替えれば速い」ではなく、「小さく安定した入力と必要時読み込みが、自分の環境でどれだけ効くかを測る」が正しい持ち帰り方です。

    道具は削除するより、必要時に読み込む

    ツールが数十、数百へ増える環境では、手作業で必要なものだけを固定する方法にも限界があります。今後は、ツールを最初から全部見せず、検索して必要な定義だけを読む方式が重要になります。

    Anthropicのコード実行によるMCP利用、OpenAIのツール検索やProgrammatic Tool Callingは、この方向を示しています。Programmatic Tool Callingは、複数のツール結果をコードで絞り込み、結合し、最終的に小さな構造化結果だけをモデルへ返す考え方です。

    向いているのは、フィルタリング、集計、重複排除、検証のように、途中で新しい意味判断をあまり必要としない処理です。途中結果ごとにモデルの判断が必要な仕事、承認が必要な操作、引用や原本をそのまま保持すべき仕事では、直接のツール呼び出しが向く場合があります。

    重要なのは、コード実行を万能な中間層にしないことです。実行環境の安全、資源制限、ネットワーク、依存関係、ログ、エラー処理を設計する必要があります。削減したモデル文脈の代わりに、見えない複雑な実行基盤を増やしていないかを評価します。

    動的読み込みの理想は、能力の一覧を小さく保ち、必要な分野を検索し、該当する定義だけを読み、途中データを実行環境で処理し、証拠と結論をモデルへ返す構成です。これは、Piの必要時拡張、Anthropicの高シグナル文脈、OpenAIのプログラム的ツール利用を一つの流れとして捉えられます。

    ただし、検索に失敗すると必要な能力へ到達できません。ツールやスキルの説明品質、検索評価、利用できなかった場合の代替経路が必要です。常設の負担を減らす代わりに、発見可能性を新しい品質指標として持つことになります。

    コード実行を使って大量データを会話の外で処理する方法は、文脈を大きく削減できます。ただし、Anthropic自身が述べるように、サンドボックス、資源制限、監視、運用コストが新たに必要です。別の複雑さへ移すだけになっていないかを、総費用と安全性で判断します。

    仕事によって、薄く残す専門性は変わる

    共通ハーネスを小さくしても、すべての仕事を同じ四つの道具へ押し込む必要はありません。共通核は小さくし、コード、調査、記事制作、法務、顧客対応などで必要な専門知識と検証を、選択的なアダプターとして残します。

    コード、調査、業務実行では、削る対象が異なる

    同じ原則でも、仕事によって優先順位は変わります。

    コード作業では、良い編集ツール、テスト、差分、サンドボックスを残します。削りやすいのは、無条件の巨大計画、全ファイルの再読、似た検索ツール、すべての修正での複数レビューです。短い局所変更と、認証やデータベース変更を別経路にします。

    調査と記事制作では、出典、主張、反証、公開原稿を分けます。削りやすいのは、調査ログ全文の常時投入、同じ資料の複数要約、全論点を本文へ載せる規則、修正のたびの全工程再実行です。残すべきなのは、重要事実の原典確認、出典と主張の対応、権利、最新版管理です。

    業務実行では、外部システムへの副作用が大きくなります。削減より先に、読み取りと書き込み、下書きと送信、計算と決済を分けます。低リスクな情報収集は自動化し、送信、購入、削除、本番反映は明示承認へ残します。ツール数を減らす場合も、権限境界を統合しないよう注意します。

    顧客対応では、単一エージェントへ知識とツールを集約できる場合がありますが、返金、契約変更、本人確認などは別の高権限経路に分けます。複数エージェント化より、権限と承認の分離が先です。

    研究開発では、探索の多様性が価値になるため、複数エージェントを残す理由があります。ただし、同じ仮説を反復しないよう、探索空間、証拠、評価を分け、重複を記録します。

    この違いを無視して全社共通の最小構成を押し付けると、必要な安全や専門性を失います。最小化は仕事ごとに行い、共通化は十分に安定した核だけに限定します。

    コードでは、リポジトリ地図、ビルド、テスト、型検査、差分レビューが必要です。調査では、情報源の優先順位、公開日と出来事の日付、引用、反証、鮮度が必要です。外部業務では、宛先、権限、承認、再実行、二重処理防止、ロールバックが必要です。

    共通化すべきなのは、目的、証拠、停止条件、安全境界です。専門的な違いまで一つの巨大ルールへ押し込むと、全タスクが重くなり、必要な場面では逆に薄くなります。

    CodexやClaude Codeを実務で動かす際に、計画、実装、検証、レビュー、引き継ぎをどう分けるかは、こちらの記事で具体的に整理しています。

    三十日で試すなら、追加開発より比較に時間を使う

    最小化を大規模な再設計プロジェクトにすると、それ自体が新しいハーネス肥大になります。三十日間で行うなら、対象タスクを絞り、現在地を測り、最小版を作り、比較し、限定導入するところまでで十分です。

    最初の一週間は、削らず観測する

    実務で始めるときは、三十日程度の小さな計画に落とせます。目的は、すべてを削ることではなく、代表タスクで現行版と最小版を比較できる状態を作ることです。

    最初の三日間は凍結と可視化に使います。現行構成へタグを付け、設定と版を保存します。代表タスクを十から三十件選び、品質、安全、費用、時間、人間修正の基準値を取ります。実際に送られた入力、ツール定義、呼び出し、再試行、圧縮を記録します。

    四日目から一週間目は、別プロファイルで最小版を作ります。基本ツール、短い目的と完成条件、必要なテスト、安全境界、ログだけにします。既存ファイルは消しません。常設スキルやMCPをオフにし、必要時に手動で戻せるようにします。

    二週目は、一変数の削減実験を行います。重複指示、未使用ツール、無条件計画、全レビュー再実行、複数要約の順に試します。各実験では、変更理由、期待する改善、壊れてはいけない条件、結果、戻す基準を記録します。

    三週目は、低リスクな仕事でカナリア運用します。自動送信、課金、本番変更は対象外にします。異常が出たら旧版へ戻し、原因を調べます。平均だけでなく、最悪の失敗と人間修正時間を確認します。

    四週目は、価値が確認できなかった要素を物理削除し、依存関係と文書を更新します。残した要素には役割と再評価日を付けます。最小版が勝てなかった領域は無理に移行しません。

    この三十日で作るべき成果物は、派手な新機能ではありません。

    現行版と最小版の入力差分。構成要素台帳。代表タスクの評価セット。削減実験の記録。ロールバック手順。削除した要素の墓標。採用した最小プロファイルです。

    墓標とは、削除した設定について、何のためにあったか、なぜ消したか、代替は何か、どんな症状が出たら再検討するかを残す短い文書です。将来の担当者が、過去の理由を知らず同じ機能を再追加するのを防ぎます。

    最小ハーネスの雛形は、目的、道具、検証、証拠、停止だけでよい

    最小構成を文章で表すと、次のようになります。

    最初に、目的を一文で示します。何を変えるための仕事か、誰が使う成果物かを明確にします。

    次に、対象範囲と禁止範囲を示します。読んでよい場所、変更してよい場所、外部へ送ってよい情報を分けます。

    正式な情報源を示します。複数ある場合は優先順位を付け、古い会話や暫定案より何を優先するか決めます。

    完成条件を示します。必要なファイル、テスト、出典、形式、承認を具体化します。「高品質にする」ではなく、確認可能な状態にします。

    基本ツールだけを与えます。読み取り、検索、編集、検証に必要なものです。高権限の操作は別経路にします。

    途中状態は外部へ残します。完了、未完了、判断、失敗、成果物の版を記録します。

    失敗と停止を決めます。同じエラーは一度だけ再試行する、二回失敗したら人へ戻す、外部操作前に確認するといった境界です。

    検証を実行します。テスト、リント、出典確認、安全検査を行い、結果を証拠として残します。

    最後に、人間が成果と副作用を確認します。本番へ反映するか、公開するか、送信するかを決めます。

    この雛形で足りない失敗が観測されたときだけ、スキル、専門レビュー、追加ツール、複数エージェントを加えます。追加したものは対象範囲と削除条件を持ちます。

    この構造は、コード、調査、文書作成、業務自動化へ共通して使えます。仕事固有の違いは、正式情報源、完成条件、専門検証、安全境界として薄く追加します。

    最小版は、全社共通の完成品ではありません。まず一つの代表タスクで、現行版と比較できる基準線を作ります。十分な品質を出せなければ、何を足すべきかが初めて具体化します。最初から将来のすべての例外を実装しないことが、この実験の重要な制約です。

    複雑さには、責任者、予算、期限を持たせる

    ルールやスキルは、追加された瞬間から固定費になります。誰も所有せず、何を防ぐか分からず、最後に検証された日もなく、失効条件もない複雑さは、ほぼ確実に残り続けます。

    構成要素ごとに責任者と費用を持たせる

    個人のハーネスなら、同じ人が作り、使い、直せます。企業では、モデル、ツール、データ、権限、評価、運用の責任が別部署へ分かれます。削減には技術だけでなく、組織上の所有権が必要です。

    各構成要素へ責任者を置きます。プロンプトやスキルの内容を持つ業務責任者。ツールと実行環境を持つ技術責任者。権限と監査を持つセキュリティ責任者。評価セットと品質基準を持つプロダクト責任者。費用と利用状況を持つ運用責任者です。

    責任者が不明な設定は、古くなりやすい。誰も削除を判断できず、念のため残ります。台帳へ所有者と再評価日を入れるだけでも、放置を減らせます。

    予算も、モデル利用料だけでなく構成要素へ分解します。常設ツール定義が使う入力費用。複数エージェントの追加費用。人間レビュー時間。失敗時の復旧費。評価実行費。監査と保守の費用です。

    この分解があると、費用削減の議論が「安いモデルへ替える」だけで終わりません。モデルを替えると品質が落ちるが、重複指示の整理なら品質を上げながら費用を下げられる、といった選択ができます。

    変更には承認レベルを設けます。文体スキルの無効化と、本番書き込み権限の変更を同じ手続きにしません。低リスクで戻しやすい変更は小さく試し、高リスクな変更は独立レビューとカナリアを使います。

    また、ハーネスを一つの中央チームだけで管理すると、現場固有の知識が失われます。共通コアと安全基盤は中央で持ち、仕事別の薄いスキルと評価は現場が持つ構造が現実的です。中央は、重複、権限、互換性、監査を支援します。

    各構成要素には、導入理由、防ぐ失敗、対象タスク、所有者、毎回のトークンや時間、最終検証日、次回見直し日、代替手段、削除時の復旧方法を持たせます。期限を過ぎても根拠が更新されない要素は、自動削除ではなく再評価の対象にします。

    複雑さの予算を持つと、「安全のためだから残す」「品質のためだから必要」という曖昧な言い方を避けられます。安全や品質へ本当に効くなら、評価で示し、効かないなら別の強制手段へ移します。

    複雑さを追加する前に、失敗と効果を言葉にする

    ハーネスへ新しい層を追加するとき、次の問いへ答えられると、将来の肥大化を抑えられます。

    どの具体的な失敗を防ぐのか。失敗は何回、どの条件で起きたのか。モデル、入力、ツール、評価のどの層が原因だと考えるのか。新しい構成要素以外に、より単純な解決策はないか。テストや権限で強制できないか。必要なタスクだけに読み込めないか。

    次に、効果をどう測るかを決めます。成功率、重大な見落とし、修正時間、再試行、トークン、開始時間のどれを改善するのか。期待する改善幅が小さいなら、追加の保守費に見合うかを考えます。

    副作用も先に書きます。固定入力が増える。ツール選択が難しくなる。新しい権限が必要になる。状態が増える。担当者が必要になる。障害箇所が増える。別モデルとの互換性が下がる。これらは追加後に現れるため、導入時に見落としやすい費用です。

    停止条件を決めます。一定期間使われなかった、評価改善が確認できない、別の機能へ統合された、モデル更新で不要になった場合は無効化する。安全機能なら、代替の強制機構が確認された場合にだけ削除する。

    最後に、誰が責任を持つかを決めます。所有者がいない機能は、問題があっても直されず、不要になっても残ります。

    この問いへ答えられない追加は、実験として隔離した方がよいでしょう。本番の共通ハーネスへ常設するのは、効果と責任が確認されてからです。

    最小版は完成品ではなく、比較し続ける基準線である

    一度削ったら終わりではありません。モデル、道具、業務、リスクが変われば、必要なハーネスも変わります。重要なのは、最小版を神聖化せず、現行版を惰性で守らず、両方を比較できる状態を持ち続けることです。

    定期的に、最新モデルと最小構成で測り直す

    一度軽くしたハーネスも、時間がたてば再び重くなります。新しい失敗、モデル、ツール、規制、業務が追加されるからです。したがって、削減を一回限りの整理イベントにしてはいけません。

    新しい構成要素を追加するときは、対象タスク、解決する失敗、期待する指標、所有者、期限、削除条件を記録します。期限が来たら、使われたか、効果があったか、別の層へ移せるかを見ます。

    定期的に、最小基準線との比較を行います。現行版から機能を削るだけでなく、最小版へ必要な機能を戻す方向でも評価します。長い年月で蓄積した暗黙の依存を、一度に解く必要はありません。

    モデル更新時は、現行プロンプトをそのまま新モデルへ移す比較と、最小プロンプトから始める比較を両方行います。ツール追加時は、常設する前に必要時読み込みで試します。安全機能は、助言から強制へ移せないかを確認します。

    運用指標には、固定入力、再投入量、ツール選択精度、再試行、失敗の重大度、人間修正、未使用構成要素の割合を含めます。増加傾向が見えたら、再基準化の時期です。

    良いハーネスは、永久に小さいハーネスではありません。必要な複雑さを受け入れながら、価値を失った複雑さを安全に外し続けられるハーネスです。

    失敗が再現し、追加で改善する時だけ複雑さを戻す

    最小版を作った後、すべての機能を減らしたままにする必要はありません。実務で不足が確認されたら、複雑さを戻します。ただし、以前の構成をそのまま復活させるのではなく、失敗を防ぐ最小の形で戻します。

    専門知識が足りず誤りが増えたなら、その分野のスキルを必要時に読み込みます。ツール選択を繰り返し間違えるなら、説明を改善し、それでも解決しない場合にだけ役割を分けます。長時間作業で判断が消えるなら、会話を伸ばす前に、外部状態と復元手順を追加します。

    独立した調査が必要なら、サブエージェントを増やします。ただし、各担当へ異なる問い、情報源、出力契約を与えます。同じ調査を三回繰り返すのではなく、事実確認、反証探索、実務適用のように役割を分けます。

    安全上の見落としが出たなら、レビュー文を長くするより、権限と検査を強くします。高リスク操作だけを別ツールにし、乾式実行、件数上限、二段階確定を加えます。

    品質がモデルの能力不足で頭打ちなら、より強いモデルや高い推論設定を試します。この場合も、現行ハーネスを固定し、モデルだけを変える比較と、強いモデルに合わせた最小プロンプトの比較を分けます。

    戻す判断には、再現された失敗が必要です。一度の不満だけで全体へ常設しません。失敗の頻度、重大度、対象業務を記録し、局所的な追加で十分かを考えます。

    複雑さは悪ではありません。説明できない複雑さ、全タスクへ無条件に適用される複雑さ、戻せない複雑さが問題です。

    複雑さを戻す条件は、現行の最小版で重大な失敗が再現し、原因が特定の不足へ結びつき、追加する対策がその失敗を改善し、別の重要指標を壊さないことです。戻した後も永続扱いせず、所有者と期限を付けます。

    この循環があれば、ハーネスは機能の倉庫ではなく、証拠によって更新される仕事環境になります。

    Piを選ぶかより、自分のハーネスへ問いを向ける

    Piの価値は、製品比較の勝敗より、私たちが当然だと思っていた常設機能へ問いを向けたことにあります。今のハーネスは、現在のモデルと仕事に本当に必要なのか。昔の失敗を防ぐための対策が、今も有効なのか。安全を文章で頼んでいるだけではないか。

    採用判断は、評判より自社タスクで行う

    Piの事例を読んだ後、現在のツールをPiへ置き換えるべきかと考える人もいるでしょう。実際の採用判断は、必要な機能、モデル対応、セキュリティ、チーム運用、既存統合、学習コストで変わります。

    Piの標準状態が小さいことは魅力ですが、標準でサブエージェントや計画モードを持たないことが、自分の仕事に合うとは限りません。権限制限やサンドボックスを別に設計する必要もあります。既存のCodexやClaude Codeが持つ統合、安全機能、チーム運用を失う場合があります。

    逆に、既存ツールを使い続けながらPiの思想を取り入れることはできます。常設プロンプトを短くする。ツールを必要時に見せる。スキルを選択的に読む。状態を外部へ出す。単一エージェントを基準にする。必要な拡張だけを追加する。

    したがって、Piは製品比較の答えというより、現在のハーネスへ向ける問いです。

    この機能は、なぜ標準で常に必要なのか。必要になったときだけ追加できないか。モデルが本来持つ能力を、古い誘導で邪魔していないか。安全はプロンプトではなく環境で強制されているか。最小版と比べて価値が測られているか。

    この問いに答えた結果、Piを選ぶことも、Codexを簡素化することも、Claude Codeのプロジェクト設定を整理することもあります。重要なのは製品名ではなく、設計の原則です。

    経営者が見るべきなのは、機能一覧より失敗時の戻り道である

    AIエージェントの提案資料では、できることが中心になります。検索、作成、操作、複数エージェント、長期記憶、自動改善。しかし、本番導入の判断では、できないときと間違えたときを確認する必要があります。

    どの仕事を自動化するのか。成功を何で判断するのか。AIが迷ったら誰へ戻すのか。何回失敗したら停止するのか。どの操作は人の承認が必要か。どのデータへアクセスできるか。ログは誰が見られるか。事故時にどこまで戻せるか。設定変更を誰が承認するか。

    さらに、ハーネスの固定費を確認します。毎回読み込む指示とツール定義はどれくらいか。使われない機能は何か。複数エージェントが本当に独立した価値を出しているか。人間のレビュー時間を含む総費用はいくらか。

    「最先端だから複雑」は理由になりません。複雑さが必要な失敗と、測定された効果を説明できることが重要です。

    経営側が最小化を単なるコストカットとして命じるのも危険です。品質や安全を守る制約を先に固定し、低価値な重複と無条件工程を減らします。削減目標をトークン何パーセントと置くより、成功一件当たりの総費用、人間修正、重大失敗を指標にします。

    最終判断では、品質、費用、安全、復旧を同時に見る

    実際に構成を変更する前に、次の点を確認します。

    現行版を保存し、戻す方法を試したか。代表タスクと評価基準があるか。変更する要素は一つか。品質と安全の守るべき条件を先に決めたか。低頻度の重要機能を利用回数だけで消していないか。外部送信、公開、課金、削除、本番変更を実験対象から外したか。

    実行後は、トークンと時間だけでなく、人間修正、重大失敗、証拠、復旧を確認したか。平均値だけでなく、最悪の失敗を見たか。新構成が弱い業務を特定したか。採用、保留、却下の理由を残したか。

    物理削除前には、依存関係がないか、観察期間が十分か、旧版が保管されているか、墓標を書いたかを確認します。

    このチェックを通じて、削減は「思い切って消すこと」から「可逆な改善」へ変わります。

    企業で重要なのは、最も小さいハーネスを競うことではありません。誰が何を承認し、どこまでAIへ委任し、何を証拠として残し、事故時にどの範囲を止め、どこへ戻すかを説明できることです。最小化は、その責任境界を見えやすくする手段です。

    自社のAI活用、ハーネス、評価、権限、業務フローを具体的に見直したい場合の相談窓口は、こちらです。

    これから必要なのは、増やす力と同じくらい削る力である

    2023年ごろの生成AI活用では、良いプロンプトを書く力が注目されました。その後、コンテキスト、ツール、メモリ、エージェント、MCP、評価、権限、ループへ設計対象が広がりました。

    この進化は必要でした。AIを現実の仕事へつなぐには、モデル以外の仕組みが欠かせません。

    しかし、次の段階では、増やす力だけでは足りません。どの失敗にどの層が効いているかを測る。古い対策を期限付きにする。必要な能力を常設せず、必要時に読む。安全装置と便利機能を分ける。最小版を基準に、価値が証明された複雑さだけを戻す。

    私は、これを減算のハーネスエンジニアリングと呼べると考えています。

    減算は、機能を捨てることではありません。AIが今の仕事へ集中できるよう、不要な選択肢を片づけることです。人間が責任を持つべき境界を見えやすくすることです。失敗したとき、原因を追い、元へ戻せるようにすることです。

    Piの最小主義は、すべての製品がPiになるべきだと証明したわけではありません。Databricksの結果も、一つのハーネスの普遍的勝利を示してはいません。ShopifyのAutoresearchも、指標を置けば自動的に正しい改善が進む魔法ではありません。

    それでも、三つの事例は同じ方向を指しています。

    モデルの能力は、仕事環境によって増幅も減衰もする。入力、ツール、状態、評価、安全の設計は、モデル選びと同じくらい重要である。そして、良いハーネスは機能の多さではなく、必要なものを必要な時に使い、不要になったものを安全に外せることによって強くなる。

    最初の一歩は、削除ボタンを押すことではありません。

    代表的な仕事を一つ選び、現行版の実行を記録します。モデルへ送られた固定入力、実際に選ばれた道具、読み直したファイル、再試行の理由、完了までの時間、費用、人間が修正した箇所を残す。そのうえで、旧版を壊さずに最小版を別系統へ作り、同じモデル、同じ課題、同じ資料、同じ評価で比べます。

    削減会議では、機能名を主語にしない方がよいでしょう。「このスキルを残すか」ではなく、「この仕事で、どの失敗を、どの証拠によって防ぐのか」と問います。すると、同じ目的を持つ重複規則、別の層で強制できる注意文、ほとんど使われない道具が見えます。反対に、低頻度でも損失の大きい事故を止める制御は、利用回数だけで削ってはいけないことも分かります。

    判断に迷ったら、四つを確認します。その要素が防ぐ失敗を一文で説明できるか。実行時に本当に使われているか。外した状態を可逆的に試せるか。品質、安全、費用、復旧を同じ評価で比較できるか。答えられない要素は、直ちに消すのではなく、まず無効化して観測対象へ移します。

    最小化の成功は、設定ファイルが短くなったことでは測れません。利用者が待つ時間が減り、必要な仕事を同等以上の品質で終え、重大事故を増やさず、失敗理由を追えて、旧版へ戻せること。その状態が一定期間続いて初めて、複雑さを一段減らしたと言えます。

    最後に残る判断は、人間が引き受けます。AIが速く動けるほど、何を目的にし、どの失敗を許容せず、どの証拠で完了を認め、いつ止めるかを決める責任は重くなります。ハーネスを小さくすることは、人間の責任を減らすことではありません。責任の位置を見えやすくし、AIが仕事へ集中できる環境を作ることです。

    増やす前に、測る。消す前に、戻れるようにする。価値が証明された複雑さだけを残す。この運用を続ければ、ハーネスは機能の倉庫ではなく、仕事とモデルの変化に合わせて代謝する基盤になります。

    実務では、最小版へ一度に移す必要はありません。最初の一週間は読み取り専用の仕事で使い、次に影響の小さい変更へ広げます。外部送信、公開、課金、削除、本番変更は、品質が高くても別の承認を残す。異常を見つけたら、原因を議論する前に旧版へ戻す。この順番を守れば、削減は勇気や勘に頼る作業ではなくなります。

    また、残した要素にも所有者と見直し日を付けます。モデルの能力が上がり、道具の設計が変わり、仕事の前提が変われば、以前は必要だった細かな誘導が逆効果になることがあります。逆に、最小版で再現する重大な失敗が見つかれば、対策を戻してよい。ただし、追加理由、改善した評価、別指標への影響、次の見直し日を残します。

    この循環で大切なのは、最小主義を新しい教義にしないことです。小さいこと自体に価値があるのではありません。必要なものが見え、不要なものを外せ、足りなければ根拠を持って戻せることに価値があります。

    明日から始めるなら、代表タスクを一つ決め、実行記録を一回だけ取ってください。そこで使われなかった常設情報、重複して選択を迷わせた道具、同じ失敗を繰り返した工程を候補にします。最初の削減対象は、最も大きいファイルではなく、最も説明できない固定費です。小さな比較を一つ作れば、以後の議論は好みではなく証拠に変わります。

    ハーネスは、作った時点で完成する製品ではありません。仕事を助ける間だけ残り、役割を終えたら安全に外れる。そうした代謝まで設計できて、初めて長く使える基盤になります。また、その基準線を最小版として持ち、モデルと仕事が変わるたびに必ず測り直します。


    出典・参考資料

    あなたへのおすすめ