
2026年のAI Engineeringはプロンプト設計の先へ進んだ?失敗を次の能力へ変える仕組みの作り方
AIに仕事を頼んで、最初の一回はうまくいった。ところが翌日は少し違う入力で崩れ、別の担当者が使うと品質が下がり、モデルを更新したら前にできていたことまでできなくなった。生成AIを仕事で使い込むほど、こうした「昨日はできたのに」が増えていきます。
そのたびに、もっと良いプロンプトを書けば安定するのではないかと考えたくなります。プロンプトは、目的や境界、判断基準をAIへ伝える役割を今も担っています。ただ、2026年のAI活用で起きている変化は、その書き方だけでは説明しきれません。
いま設計対象になっているのは、AIの回答から仕事の完了までを支える仕組みです。合格条件を決め、必要な情報と道具を渡し、失敗を観測する。原因を切り分けて修復し、外部から検証したうえで、その失敗を次回の能力へ変えていきます。
OpenAIやAnthropicが公開している実運用の知見でも、モデルの外側へ設計対象が広がっています。コンテキストやツールだけでなく、実行環境、評価、権限、長時間タスクの引き継ぎ、改善ループまでが仕事の成否に関わる。私はこの変化を、AI Engineeringの中心単位が「良い回答」から検証済みの委任仕事へ移っている、と捉えるのが実務では分かりやすいと考えています。
この記事では、個々の専門用語を一つの仕事の流れへ置き直します。AIへ安全に仕事を委任し、失敗するたびに仕組みを強くするには、各領域をどこで使えばよいのか。その順序を追います。

一度うまく答えるAIと仕事を完了できるAIは違う
AIの比較は長い間、モデル中心でした。どのモデルが賢いか。ベンチマークで何点か。どれだけ長い文章を読めるか。推論モードはあるか。これらは、モデルそのものの能力差を知るために今も必要です。
ただ、会社の仕事に持ち込むと、モデル名だけでは結果を説明できません。同じモデルでも成果は変わります。成功条件、見せる情報、使えるツール、権限、再試行の仕組み、最終検証が違えば、同じ能力を仕事へ変換できる割合も変わるからです。
ソフトウェア開発では、テストが通り、既存機能を壊さず、必要な画面が実際に動いて初めて完了です。調査なら、重要主張に根拠があり、反証を確認し、引用と出典が対応していることが合格条件になるでしょう。バックオフィスでは、申請案の文章品質に加えて、権限とルールを守り、必要な承認を通り、正しいシステム状態へ反映されたかまで確認します。
つまり「良い出力」は、仕事の途中にある一つの状態にすぎません。
OpenAIのCodexチームは2026年2月、空のリポジトリから始め、約100万行規模まで成長し、約1,500件のPRを開いてマージした内部プロダクトを、人間がコードを直接書かない制約で構築した実験を公開しました。この事例から読むべきなのはコード量の大きさだけではありません。その過程では、モデルへ「もっと頑張れ」と言うだけでは進まず、環境側の改善が必要になりました。AI自身が画面、ログ、メトリクス、仕様、テスト結果へ到達できるように環境を整え、失敗を観測できるようにする必要がありました。
ここでいうHarness、つまりハーネスは、AIが仕事をするための実行基盤です。何を見せるか、何を実行できるか、状態をどこへ残すか、どう検証するか、何回やり直せるか、どこで止めるかをモデルの外側で支えます。

この視点に立つと、「どのAIが一番賢いか」だけを比べても足りない理由が見えてきます。問うべきなのは、この仕事を合格まで運ぶために、モデルの外側へ何を用意する必要があるかです。
モデルと、その能力を仕事へ変える実行系を一緒に測る考え方は、こちらの記事で詳しく整理しています。
プロンプトを書く前に何をもって合格とするかを決める
AIに「売上データを分析して、良い提案を出して」と頼めば、たいてい何かは返ってきます。難しいのは、その出力が仕事として合格かどうかです。
たとえば解約率を下げる施策を考えるなら、見る期間と仮説数を決めます。支持証拠と反証の両方を求めるのか、再計算できるSQLや手順を残すのか、施策の優先順位を何で決めるのかも先に決めておきます。ここが曖昧なままでは、AIが高性能でも「もっともらしいけれど、採用してよいか分からない成果物」が増えます。
この曖昧な期待を、実行と検証ができる仕事へ変えるのがSpecification Engineeringです。難しい名前ですが、やることは明快です。目的、今回の範囲、やってはいけないこと、合格条件、停止条件、人間へ戻す条件を先に決めます。
私は、AIが強くなるほどこの設計の価値は上がると考えています。能力の低いAIは、できない仕事なら分かりやすく失敗します。能力の高いAIは、曖昧な依頼でも途中までかなり前へ進めます。AIへ「何をしてほしいか」を伝えるだけでは足りません。何をもって正しい仕事とするかまで、人間側が定義する必要があります。
成功判定をAI自身へ任せると、もっともらしい自己申告と実際の完了を混同します。「完了しました」は証拠ではありません。コードならテスト、予約なら予約データの存在、数値分析なら再計算、画面なら実際の操作、文章なら事実確認と評価基準。成功は、可能な限りAIの外にある状態で確認します。
AnthropicのAgent Evalsでも、最終的に世界がどうなったかというOutcomeと、そこへ至る行動履歴であるTrajectoryを分けて見る考え方が示されています。結果が正しくても危険な経路を通っていないか。逆に、手順は妥当でも最終状態が達成されていないのではないか。両方を見ることで「AIができたと言ったから完了」という自己承認から離れられます。

プロンプトはこの合格条件をAIへ伝える重要な契約です。ただし、あらゆる知識、全社ルール、全履歴、全手順を一つのプロンプトへ詰め込む必要はありません。何を達成し、どこまで任せ、何を守り、どう迷ったら人間へ返すか。プロンプトには、今回の推論を方向づける役割を持たせる方が整理しやすくなります。
プロンプトを、目的、判断基準、権限境界、完了条件を渡す実行契約として設計する考え方は、こちらの記事で深掘りしています。
AIへ見せる情報は必要なものへ絞る
合格条件を決めても、AIへ何を見せるかが悪ければ仕事は安定しません。
「コンテキストウィンドウが大きくなったのだから、資料を全部入れればよい」と考えたくなります。しかし、AnthropicはContext Engineeringを、限られた注意資源の中で、次の判断に必要な高信号の情報を選んで渡す設計として説明しています。
ここでいうコンテキストは、AIがその瞬間に見ている情報です。今回の指示、関連文書、検索結果、ツールの返答、過去の記録、現在の進捗などが含まれます。大きな窓があることと、その窓を有効に使えることは同じではありません。
OpenAIのCodexチームも、巨大な一枚の`AGENTS.md`へ全ルールを書き込む方式を失敗例として紹介しています。代わりに採ったのは、短い入口を地図として使い、必要になったときに設計文書や仕様へ到達できる構造でした。これは、新入社員へ社内資料を全部渡すより、「いま何をするか」「どの文書が正本か」「迷ったらどこを見るか」を示した方が仕事を始めやすいのと似ています。

実務では、情報を寿命で分けると扱いやすくなります。長期間変わりにくい安全ルール、プロジェクト単位の設計資料、今回だけの要件、一時的なログや検索結果。これらを同じ場所へ積み上げると、古い情報と新しい情報が競合し、何が正本なのか分かりにくくなります。
コンテキスト圧縮も「とにかく短く要約する技術」と考えない方がよいでしょう。何を残すか、何を捨てるか、何を外部状態へ移すかを決める資源管理です。近年は長時間エージェント向けの圧縮研究も進んでいますが、削減率だけを一般化するのは危険です。必要な条件や過去の判断理由まで捨てれば、トークンは減っても仕事は壊れます。
PromptとContextの役割を分けると、巨大な指示書を作らずに済みます。Promptは今回の仕事をどう判断するかを伝える。Contextは、その判断に必要な材料を必要な時点で届ける。この二つを分けることが、長時間の仕事へ進む入口になります。
失敗しても前へ進める実行環境と反復を作る
合格条件と必要情報があっても、現実の仕事では一発で成功しないことがあります。APIが失敗する。ツールが想定外の値を返す。テストが落ちる。必要な権限がない。外部サイトの構造が変わる。ここで「同じプロンプトをもう一度実行する」だけでは、同じ失敗を繰り返す可能性があります。
そこで必要になるのがHarnessとLoopです。HarnessはAIが動く環境、Loopは失敗から戻って再試行する反復の設計です。
基本は、観測し、計画し、実行し、結果を確認し、合格しなければ原因を診断し、修正して再試行する流れです。文章作成なら生成と評価を繰り返す。コードなら実装、テスト、失敗診断、修正を回す。高リスクな操作なら、途中で人間判断へ戻す。タスクごとにループの形は変わります。
再試行の質は、次の試行へ何を返すかで大きく変わります。「エラーになった」だけでは弱い。たとえば日付形式が不正なら、どの項目で、何が観測され、何を期待し、どの形式なら許容されるのかを返す。失敗位置と観測値と期待値が分かれば、AIは修復しやすくなります。

Loopには、止める条件も必要です。最大試行回数、最大コスト、同じ失敗の連続回数、不可逆操作、仕様矛盾、権限不足。ここがないと、性能の高いAIほど長く走り続け、コストと事故半径を広げることがあります。
さらに、AI自身がGround Truth、つまり現実の正しい状態へ到達できなければ、検証は自己申告へ戻ってしまいます。開発ならブラウザ、ログ、メトリクス、テスト。業務処理なら対象システムの状態。調査なら原典と引用箇所。説明文を足すより、AIが自分で事実へ戻って確かめられる環境を用意します。その差が、一発生成と業務実行を分けます。
失敗原因を分けられなければ改善は全部プロンプトに流れる
AIの運用で、私はObservabilityをかなり重く見ています。Observabilityとは、AIが何を見て、何を使い、どこで失敗し、何回やり直し、人間がどこで介入したかを後から追える状態です。
なぜなら、結果が悪かったときに原因を分けられなければ、改善策も選べないからです。
指示と違う成果物なら、SpecificationやPromptが怪しい。古い情報ならContextやRetrieval。何度も同じミスをするならMemoryやSkill。間違ったツールを選ぶならToolの名称やSchema。途中で勝手に終了するならLoopの停止条件。既存機能を壊すならRegression Eval。危険操作ならPermissionやSecurity。モデル変更後だけ悪化するなら、古いHarnessが新しいモデルの能力を妨げていないかも確認します。

この分類がない組織では、失敗するたびに「絶対に〇〇すること」とルールを追加しやすくなります。最初は効いても、やがてルール同士が矛盾し、古い例外が残り、プロンプトや`AGENTS.md`が百科事典になります。これは改善というより、原因不明の症状へ注意書きを貼り続けている状態です。
記録すべきものも、単なるチャットログだけではありません。少なくとも、モデルやPromptやSkillの版、参照した情報源、Tool呼び出し、検証結果、再試行、人間介入、最終Outcomeを追えるようにします。これらが揃うと、失敗を次の設計変更へつなげられます。
AI Engineeringが職人芸から運用能力へ変わる境目は、失敗の場所を説明できるかにあると私は考えています。
長時間の仕事では状態を外へ残して引き継ぐ
AIへ任せる仕事が数分から数時間、複数セッションへ伸びると、今度は「覚えていること」に依存した運用が壊れ始めます。目的を忘れる。前に決めたことをやり直す。どこまで終わったか分からない。別のAIや人間が途中から入れない。
ここで必要なのは、会話履歴を無限に長くすることではありません。現在のタスク状態、進捗、決定事項、未解決の問い、検証結果を、会話の外へ残すことです。
Anthropicの長時間エージェントの実験でも、セッションをまたいで仕事を継続するために、次のセッションへ渡せる明示的な成果物や状態が重視されています。推論するモデルが変わっても、状態が残っていれば再開できる。逆に、すべてが会話の中だけにあると、コンテキスト圧縮やモデル変更のたびに仕事の背骨が失われます。

この設計は、人間のためにも有効です。担当者が途中から入ったとき、AIの思考履歴を全部読む必要はありません。何を目指しているか、どこまで終わったか、何を決めたか、何が未確認か、検証はどこまで通ったか。それが見えれば、人間は必要な判断だけに集中できます。
長時間タスクで本当に欲しいのは、AIが絶対に忘れないことではありません。忘れても復旧でき、別の実行者へ引き継げる仕事の構造です。
経験はSkillとEvalへ昇格させて再利用する
AIを使うほど良くしたいなら、過去の出来事を保存するだけでは足りません。
Memoryは「以前こういうことが起きた」という経験を残します。Skillは、その経験から再利用できる手続きを切り出す仕組みです。Evalは、SkillやPromptやToolの変更が本当に改善につながったかを再現ケースで測ります。この三つを分けると、学習の流れが見えます。
一件の失敗が起きたら、まずEpisodeとして残す。原因を調べ、Lessonにする。何度か再現し、別の仕事でも使えるならCandidate Skillへする。そこで終わらず、過去の失敗を再生し、別ケースを壊していないか回帰テストを通す。ここまでできて初めて、組織の手続き知識へ昇格させる価値があります。

一件の事故から全社ルールを作ると、すぐにRule Accumulation、つまり例外ルールの増殖が始まります。別の仕事では逆効果かもしれない。既存Skillと矛盾するかもしれない。Tool側を直せば済む問題かもしれない。一般化できない失敗はローカルなLessonのまま残します。Global Skillへ無理に昇格させない方が、別タスクへの過学習を避けられます。
AnthropicのAgent Skillsは、指示、スクリプト、参考資料を必要になったときに読み込む構造を採っています。これはKnowledgeとProcedureを分ける考え方とも相性がよい。何が正しいかを調べる知識と、どう実行するかという手続きを、毎回一から混ぜて推論させる必要はありません。
人間からのフィードバックは、再発を検出できるEvalへ変えます。OpenAIとThrive Holdingsが2026年5月に公開したTax AIでは、実務家の修正とプロダクションの実行履歴を専用Evalsへ接続しています。そこからCodexによる改善へつなぐ閉ループを構築し、パイロットでは7,000件の税務申告を処理したと報告しました。
ここで注意したいのは、人間の訂正をそのまま正解として保存しないことです。入力抽出の失敗か、マッピングの問題か、未対応機能か、通常の作業ノイズか。原因を分けて、再現ケースを作り、何を直したら改善したのかを測る必要があります。

EvalsはAIを採点して終わる仕組みではありません。新しいモデルへ替えてよいか、Prompt変更で合格率が上がったか、Skill追加やToolのSchema変更で別ケースが悪化していないかを比較する共通の測定基盤です。
ただし、Evalそのものも壊れます。古いデータを使っている、期待値が曖昧、評価モデルに偏りがある、テスト環境が壊れている、AIが評価器の癖だけを攻略している。だから「スコアが上がった」ことと「実務性能が上がった」ことも同一視できません。評価器を評価する視点まで持って、ようやく改善ループが安定します。
AI事故を報告で終わらせず、権限、テスト、復旧、再発防止へ戻す組織設計は、こちらの記事で具体的に扱っています。
行動できるAIほどToolと権限の境界を先に設計する
AIが文章を返すだけなら、失敗の多くは画面の中で終わります。メールを送り、データベースを更新し、ファイルを削除し、予約を確定し、外部APIを呼べるようになると、失敗は現実の状態を変えます。
だから、Toolを増やすことと権限を広げることを、能力向上そのものだと考えない方がよいでしょう。
良いToolは、AIから見て目的が明確です。必要な入力が分かる。返す情報を絞れる。検索やページングができる。副作用が分かる。失敗時に何を直せばよいか返す。必要な権限が定義され、可能ならロールバックできる。数百個のToolを常に見せるより、必要なときに必要なToolだけを使える方が、選択ミスとコンテキスト浪費を減らしやすくなります。
安全側では、プロンプトの注意書きより、実行環境で到達範囲を制限する方が強い保証になります。「個人情報を外へ送らない」「本番DBを削除しない」と書いても、実行環境がそれを許せば物理的な保証にはなりません。
AnthropicはContainment、つまりAIが到達できる範囲を環境側で閉じる考え方を強調しています。OpenAIもCodexの社内運用で、サンドボックス、承認、ネットワークポリシー、管理設定、監査可能なログを組み合わせています。

ここで、全部を人間承認にすれば安全という話でもありません。承認が多すぎると、人は内容を見ずに押すようになります。人間の注意は有限です。私は、自動化率を上げることより、人間の注意を本当に高価値な判断へ残せるかを重く見ます。
低リスクで可逆な操作は自動化する。中リスクは隔離環境で実行する。高リスクは明示承認へ回す。不可逆な操作や法的効果のある処理は強い確認を要求する。自律性を上げるほど、許可する行動と止める行動の境界を明確にします。
さらに、永続化するMemoryやSkillには別の危険があります。悪意あるWebページやメールの内容が一時的なContextへ入り、それがMemoryへ保存され、Skillへ昇格すれば、攻撃が次回以降の振る舞いへ残る可能性があります。保存前に出所、確度、有効期限、矛盾、再検証を見る設計が必要です。
Model RoutingとMulti Agentとコスト最適化は測定基盤の後に置く
AI Engineeringを考え始めると、複数モデルを自動で切り替えたり、複数Agentを動かしたりしたくなります。ただ、私はこれらを最初の設計対象にはしません。
理由は単純で、測定基盤がなければ「複雑にした結果、本当に良くなったか」が分からないからです。
まずSingle Agentに必要なToolと外部検証を与え、実タスクでBaselineを取る。それでも並列化が必要なのか、独立したレビューが必要なのか、異なる権限や異なるContextが必要なのかを確認する。理由が見つかったときにだけMulti Agentへ分ける方が、調整コストを管理できます。
Model Routingも、単に安いモデルを使う技術ではありません。簡単な分類は小型モデル、複雑な推論は高性能モデル、重要な検証は別モデルと決定論的チェックを組み合わせる。タスク価値、失敗コスト、遅延、プライバシー、必要なContext長、Tool利用能力を見て推論資源を配分します。
ここでもEvalsが比較基盤になります。新モデルを過去の実タスクと失敗ケースへ流せば、どの構成が合格率を上げたかを同じ条件で比べられます。
コストの見方も変わります。一回の推論料金だけを比較すると、安いモデルが有利に見えます。しかし、失敗して何度も再試行し、人間が毎回レビューし、Tool APIを呼び直し、復旧に時間がかかれば総コストは上がります。
見るべきなのは、推論、ToolやAPI、計算資源、人間レビュー、失敗復旧、遅延まで含めた検証済みの仕事一件あたりのコストです。高価なモデルでも初回成功率が高く、人間介入が大きく減るなら、成功一件原価は下がるかもしれません。逆に単純タスクへ高価なモデルを使っても価値は出ません。
つまり、モデル、Agent数、Context量を増やす前に、何が改善したら投資するのかを決めておく必要があります。AI Engineeringは機能を増やす競争ではなく、合格した仕事をより少ない注意、リスク、コストで再現するための設計です。
自己改善は勝手な学習ではなく制御された変更管理である
「自己改善AI」という言葉は、AIが勝手に自分を賢くしていく姿を想像させます。実務では、もっと地味で管理可能な形に分解した方が安全です。
現時点で現実的なのは、Productionで起きた失敗と人間の修正を集め、原因を分類して再現ケースを作ることです。その上で、PromptやContext、Skill、Tool、Environment、Loop、Verifier、Modelなど、原因に対応する場所を選んで直します。変更は回帰テストを通してから反映します。
ここで改善対象をPromptへ固定しないことが大切です。情報不足ならContext。手順不足ならSkill。Tool選択ミスが多いならToolの設計。途中で止まるならLoop。完了と誤判定するならVerifier。権限事故ならSecurity。原因に合わない場所を直しても、ルールが増えるだけです。
そして、改善ループ自体が新しいリスクになります。過去ケースだけへ過学習する。誤った人間修正を正解として覚える。新しいSkillが既存能力を壊す。AIが本質ではなくEvalの採点基準だけを攻略する。便利さを理由に権限が広がる。
Self Improvementには、改善候補の生成と同じくらい、別データでの回帰テスト、独立評価、安全レビュー、版管理、ロールバックが必要です。自動更新だけを速くすると、誤った変更も速く広がります。だから私は、間違った改善を見つけ、原因を説明し、戻せることを優先します。
Harness自体も老朽化します。ある時点の弱いモデルを補うための処理が、モデル性能の向上後には不要になり、能力や速度を制約することがある。モデル更新のたびに「追加すべきもの」だけでなく、「もう削れるもの」を見る必要があります。
企業が蓄積すべきAI資産はモデルより長く残る
ここまでの設計を一つにつなぐと、企業がAI時代に何を資産として持つべきかも変わります。
モデルは高速に入れ替わり、プロンプトもTool構成やモデル更新に合わせて変わります。それでも残りやすいものがあります。自社の業務仕様と合格基準、実運用の失敗ケースとEvals、検証済みSkills、Toolのインターフェースや権限ポリシーです。Harnessの部品、実行履歴、Contextの地図、意思決定の記録も、新しいモデルへ持ち越しやすい資産になります。
私は、ここがAI競争で過小評価されやすい点だと考えています。最高モデルへ早く乗り換えることは大切です。しかし、モデルを替えるたびに使い方をゼロから探し直す組織より、過去のEvalsと失敗ケースをそのまま新モデルへ流し込み、自社の仕事で合格率を比較できる組織の方が学習速度は高い。
こうした資産は、更新、廃止、再検証ができる形で持ちます。古い知識を残し続けると、新モデルでも過去の制約を再生してしまうからです。古いルールを永遠に残すのではなく、どの失敗から作られ、どのEvalで確認され、どの版で有効なのかを追えるようにする。必要なら廃止できることも資産管理の一部です。
強いAI活用組織とは「最強モデルを契約している組織」だけではありません。新しいモデルを差し替えたとき、自社の仕様、Evals、Skills、Tools、権限、Harnessが、その能力をすぐ仕事へ変換できる組織です。
最初の30日は一業務のGround Truthから始める
ここまで読むと、AI活用のために巨大な基盤を作らなければならないように見えるかもしれません。私は逆だと考えます。
最初に選ぶのは、高価値で、結果を確認しやすい一つの業務です。実際のタスクを20件から50件ほど集め、何を成功とするか決め、現在のAIでBaselineを測ります。まず、どこで失敗するかを知る。ここが出発点です。
次に、本当に必要なToolだけをつなぎます。テストやValidatorを用意し、可能なら隔離環境で実行し、Traceを残す。三週目に再試行ループと停止条件を作り、失敗時に原因と修正候補を返せるようにする。繰り返し起きる失敗が見えたらEpisodeとして保存し、一般化できるものだけSkill候補へします。
四週目にHistorical Failure、つまり過去に実際に起きた失敗をEvalへ組み込み、変更前後を比較します。ここまで測れてからPromptやContextやModelの最適化へ進めば、どの変更が成功率や人間介入率を改善したのかを追いやすくなります。
30日後の成果は「AIが便利になった」では弱いです。タスク成功率、初回成功率、人間介入率、成功一件原価、失敗原因の分布、回帰率が測れている。少なくともこの状態まで行けば、次に投資する場所を感覚ではなくデータで選べます。
Coding Agentならテストと実行環境が優先されるでしょう。Research Agentなら情報源の質、鮮度、主張と根拠の対応、矛盾処理が重要になる。Back-office Agentなら権限、決定論的ルール、監査ログ、人間承認が中心になる。Customer Supportなら、良い返答をしたかではなく、チケットが本当に解決したか、返金が実行されたか、ポリシーを守ったかを見る必要があります。
つまり、共通のArchitectureはあっても、Ground Truthは仕事ごとに違います。最初から全社共通の巨大Harnessを作るより、一業務で「何をもって完了とするか」を測れるようにし、共通化できる部品だけ後から広げる方が安全です。
AI導入を個人の使い方で終わらせず、業務設計、研修、開発、改善運用まで一続きで進めたい企業向けの支援内容は、こちらにまとめています。
新しいEngineeringを足す前に複雑化の副作用を見る
AI Engineeringには、まだ標準化されていない言葉と未解決の問題が多くあります。Harness EngineeringやLoop Engineeringは急速に使われていますが、業界横断の厳密な定義が完全に固定されたわけではありません。MemoryやSkillの研究にも新しいプレプリントが多く、結果が更新される可能性があります。
だから、新しい言葉を見つけるたびに仕組みを追加するのは危険です。
巨大なSystem Promptへすべてを入れる。巨大な`AGENTS.md`へ失敗のたびにルールを足す。全会話をMemoryへ保存する。一件の事故からGlobal Skillを作る。MCPやToolを大量接続する。独立した役割がないのにAgentを何人も作る。便利だから全権限を渡す。Evalの点数だけを上げる。モデルのブランドでArchitectureを固定する。
これらには共通点があります。問題を測る前に、複雑さを追加していることです。
未解決問題も残っています。長時間実行で目的がずれる。誤ったMemoryが永続化する。新Skillが既存能力を壊す。Evalを攻略する。信頼できるTool経由で悪意あるコンテンツが入る。複数Agentが同じ誤情報を相互強化する。モデルが進化したのに古いHarnessが能力を邪魔する。ReviewerやRetryを増やしすぎてコストが膨らむ。
新しい仕組みを導入するとき、私は八つの観点を全部チェックリストとして並べるより、まず四つへ絞って考えます。成功率は本当に上がるか。人間の注意を減らせるか。失敗原因が分かりやすくなるか。モデルを替えても再利用できる資産として残るか。その上で、回帰、安全、コスト、運用可能性を確認します。
この順序なら、「新しいEngineeringだから採用する」ではなく、「この失敗を減らすために必要だから採用する」と判断できます。
AIを使うほど強くなる組織は失敗の扱い方が違う
2026年のAI Engineeringを、私は次のように整理しています。
AIに一度うまく答えさせることを目的にしない。まず仕事の合格条件を決める。必要な情報だけを見せる。AIが現実の状態を確認できるToolとEnvironmentを用意する。失敗したら同じ指示を繰り返すのではなく、原因を分ける。経験はMemoryへ保存するだけで終わらせず、再現できるものをSkillとEvalへ昇格する。行動権限は環境側で閉じる。モデルやAgentの追加は、BaselineとEvalができてから判断する。改善は回帰テストとロールバックを通して制御する。
この構造があれば、モデルは非常に強力ですが、交換可能な部品として扱いやすくなります。逆に、この構造がなければ、高性能なモデルへ乗り換えても、毎回同じ種類の失敗を新しい形で繰り返します。
もし明日から一つだけ始めるなら、私は新しいプロンプト集を作るより、次の三つを選びます。
まず、一つの業務について「何をもって完了とするか」を書く。次に、過去の失敗を5件でもよいので原因別に分ける。そして、その失敗を新しいPromptやModelへ再実行できる小さなEvalにする。
この三つが揃うと、AIを改善したつもりではなく、本当に改善したかを比較できるようになります。
AI Engineeringの目的は、AIを賢く見せることではありません。モデルの能力を再現性のある仕事へ変え、失敗するたびに次の仕事が少し強くなる仕組みを作ることです。
その仕組みを持てるかどうかが、AIを便利な道具として使う組織と、AIを使うほど強くなる組織を分けていくと考えています。
出典・参考資料
OpenAI, Harness engineering: leveraging Codex in an agent-first world, 2026年2月11日
https://openai.com/index/harness-engineering/OpenAI, Running Codex safely at OpenAI, 2026年5月8日
https://openai.com/index/running-codex-safely/OpenAI, Building self-improving tax agents with Codex, 2026年5月27日
https://openai.com/index/building-self-improving-tax-agents-with-codex/OpenAI, How evals drive the next chapter in AI for businesses, 2025年11月19日
https://openai.com/index/evals-drive-next-chapter-of-ai/Anthropic, Effective context engineering for AI agents, 2025年9月29日
https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agentsAnthropic, Effective harnesses for long-running agents, 2025年11月26日
https://www.anthropic.com/engineering/effective-harnesses-for-long-running-agentsAnthropic, Demystifying evals for AI agents, 2026年1月9日
https://www.anthropic.com/engineering/demystifying-evals-for-ai-agentsAnthropic, Harness design for long-running application development, 2026年3月24日
https://www.anthropic.com/engineering/harness-design-long-running-appsAnthropic, Scaling Managed Agents: Decoupling the brain from the hands, 2026年4月8日
https://www.anthropic.com/engineering/managed-agentsAnthropic, How we contain Claude across products, 2026年5月25日
https://www.anthropic.com/engineering/how-we-contain-claudeAnthropic, Equipping agents for the real world with Agent Skills, 2025年10月16日
https://www.anthropic.com/engineering/equipping-agents-for-the-real-world-with-agent-skillsZhong and Zhu, AI Harness Engineering: A Runtime Substrate for Foundation-Model Software Agents, 2026年5月
https://arxiv.org/abs/2605.13357Luo et al., From Storage to Experience: A Survey on the Evolution of LLM Agent Memory Mechanisms, Findings of ACL 2026, 2026年7月
https://aclanthology.org/2026.findings-acl.2069/Pan et al., Anything2Skill: Compiling External Knowledge into Reusable Skills for Agents, 2026年6月
https://arxiv.org/abs/2606.09316Liu et al., Harnessing LLM Agents with Skill Programs, 2026年5月
https://arxiv.org/abs/2605.17734Yang et al., Learning Globally Reusable Skills for Coding Agents, 2026年8月
https://arxiv.org/abs/2608.06153Ray and Goyal, Structured Feedback Improves Repair in an LLM Agent Loop, 2026年7月
https://arxiv.org/abs/2607.14167