
Buzzword engineering
0. 新しいEngineeringの乱立
Prompt Engineering、Context Engineering、Harness Engineering、そして最近ではLoop Engineering——LLMの登場からわずか数年で、私たちは少なくとも四つの「Engineering」の誕生に立ち会ってきました。どれも、LLMやAIエージェントの活用・開発で実際に発生した課題への対処として生まれた、真面目な概念です。 しかし正直に言えば、新しい名前を聞くたびに、ただ単に熱狂するのではなく、前の名前がまだ方法論として成熟していないことに気づいた方も多いのではないでしょうか。

本稿では、この現象を Buzzword engineering と呼びます。
最初に立場を宣言しておきます。本稿はバズワードを嗤う記事ではありません。かといって、最新のバズワードに乗り遅れるなと煽る記事でもありません。バズワードの乱立を イノベーションの当然の帰結 として受容した上で、その先に何を建てるべきかを論じる、第三の道の記事です。
結論を先に述べます。バズワードの乱立は「提案の速度が実証的な検証の速度を圧倒的に上回る」という構造的な非対称の必然的な帰結であり、その非対称を埋める 変速機 としてxOps——DevOpsやMLOpsの系譜に連なる運用の方法論——を整えていくことが、LLM/エージェント時代のプロダクト開発の進む先と考えます。
1. 現象の解剖
まず確認しておきたいのは、イノベーションの周辺で言葉が乱立するという現象自体は、まったく新しくないということです。技術史ではこうした現象が多数観察されます。
理論的な枠組みから見ていきます。経済学者 シュンペーター は、イノベーションが単発ではなく「群生(swarm)」として発生することを指摘しました。一つの根本的な革新が利益機会を開くと、模倣者と周辺的な革新者が群れをなして参入し、その周囲に無数の変種と提唱が生まれるという観察です。カルロタ・ペレスは、運河、鉄道、電化、自動車、情報技術という過去の技術革命を比較し、革命の「導入期」には必ず過剰な熱狂と過剰な投資が伴うことを示しました。これを発展させ定式化したのが「ハイプ・サイクル」です。 乱立は逸脱ではなく、技術革命の標準的な進行表に最初から書き込まれているのです。

ソフトウェアの歴史に限っても、実例には事欠きません。オブジェクト指向が主流化した1990年代には、その周辺でデザインパターン、UML、CASEツール、RUPといった方法論群が一斉に提唱されました。Webの商用化は「情報スーパーハイウェイ」という言葉とともに始まり、Web 2.0の時期にはAJAX、SOA、マッシュアップ、RIAが乱立しました。アジャイルの前史はさらに示唆的です。1990年代後半、XP、Scrum、Crystal、FDD、DSDMといった軽量方法論が乱立し、2001年のアジャイルマニフェストでようやく一つの旗の下に統合されました——乱立の始まりから統合まで、およそ十年を要しています。クラウドは「グリッドコンピューティング」「ユーティリティコンピューティング」との命名競争を勝ち抜いて定着し、勝者が決まるや、今度はXaaSという接尾辞が増殖を始めました。ビッグデータの時代には、NoSQL、データレイク、レイクハウスが続きました。極めつけはガートナーのハイプサイクルでしょう。1995年に登場したこのモデルは、「イノベーションの周辺で期待が膨張し、幻滅を経て安定に至る」というパターンがあまりに規則的に繰り返されるため、 その規則性自体が商品になった という事実の証明と言えます。
つまり、イノベーションの震源地の周辺で多様な変化と命名が乱立するのは、歴史的に見て例外ではなく繰り返しです。LLMの周辺で短期間に四つのEngineeringが生まれたこと自体は、技術史の正常な営みだと言えます。逆に、周辺に新しい概念の生まれないようであれば、それはイノベーションではないとさえ言えます。

では、今回のLLM/AIエージェント周辺では何が新しいのでしょうか。それは乱立そのものではなく、 乱立の生産工程が自動化される ことです。
ある方法論が「方法論」として世に定着するには、誰かが提案し、誰かが検証する2段階の工程が必要です。歴史上、提案の工程を担ってきたのは常に人間でした。経験を言語化し、体系に整え、説得力のある文章として世に問う——この作業のコストが、乱立の速度に自然な上限を与えていました。LLMは、まず道具として、この提案コストをほぼゼロまで引き下げました。さらに決定的なことに、LLMは道具にとどまらず、提案の主体そのものになり始めています。エージェントに開発をさせれば、エージェントは自らの作業を改善するためのプラクティスを言語化し始めます。 シュンペーターの群生は人間の速度で発生していましたが、いまや群生の発生装置そのものが機械の速度で稼働しているのです。提案の主体に機械が加わったのは、史上初めてのことでしょう。
一方で、 検証のコスト はほとんど下がっていません。ある方法論が本当に有効かどうかは、それを使って作られたプロダクトがユーザに使われ、人間が行動し、価値が観測されて初めて分かります。検証は依然として、人間の行動速度に律速されているのです。
提案は機械の速度で進み、検証は人間の速度で進みます。この 速度の非対称 がBuzzword Engineeringを生んでいると言えます。 Buzzword Engineeringとは、提案コストがほぼゼロになった環境において、検証の消化速度を超えて多様な方法論を命名・出荷し続ける知識生産の様式 と定義します。皮肉なことに、ここでエンジニアリングされているのは方法論の中身ではなく名前のほうであり、出荷された名前は検証待ちのバックログとして堆積していきます。名前が実態としてエンジニアコミュニティで実証され有効化され方式化される前に、次の名前が到着していれば、その領域ではBuzzword Engineeringが稼働していると言えます。アジャイルの乱立が統合まで十年かけて消化されたのに対し、四つのEngineeringはわずか数年で積み上がりました。供給側だけが加速する以上、この非対称は今後さらに拡大すると考えて良いでしょう。
2. 系譜の再解釈
では、Prompt → Context → Harness → Loop という系譜は、単なる流行の交代なのでしょうか。時系列に並べるとそう見えます。しかし、 抽象度の軸 で並べ直すと、まったく別の絵が浮かび上がります。

Prompt Engineeringが扱うのは「一回の発話」です。Context Engineeringが扱うのは「発話を取り巻く情報環境」であり、Harness Engineeringは「モデルが行動する環境とツール」、Loop Engineeringは「反復と時間軸のダイナミクス」を扱います。つまりこの系譜は、 エンジニアが触れる制御面(control surface)が、一回の推論呼び出しから、それを包むシステムへ、さらにシステムの時間発展へと、同心円状に外側へ移動してきた歴史として読めます。私たちは流行を乗り換えてきたのではなく、自分たちを包む外のレイヤーを一枚ずつ発見してきたのです。

この「レイヤー発見説」には、二つの嬉しい帰結があります。
第一に、各Engineeringは置き換えではなく 積層 である点です。Prompt Engineeringは死んでいませんし、Context Engineeringの一層として吸収され、名前をあまり呼ばれなくなっただけです。名前の死と方法論の死は別物です。
第二に、 次が予測できます 。Loopの外側にまだ名付けられていない層があるとすれば、それは複数エージェントの編成(fleet)、永続的な記憶(メモリ)、そして権限と信頼の設計でしょうか。そう考えると、次に来るのはFleet EngineeringやTrust Engineeringのような名前の何かかもしれません(もちろん違うかもしれません。Andrej KarpathyかPeter Steinbergerが提唱してくれるのを待つばかりです)。なお、この予測が外れたらそれはそれで本稿の理論への反証データになりますし、 こうしたアイデアを考えて提案できるのはイノベーションの同時代に生きる者の特権です。
3. 生き残るバズワードの判別基準 — 構造的な痛みと、偶発的な痛み
レイヤーは積層すると述べましたが、各レイヤーの 中身 まで生き残るわけではありません。ここに二つ目の構造があります。
各Engineeringの内容物の多くは、実は「モデルが今できないことへの補償」です。 たとえば初期のPrompt Engineeringには、指示に従わせるための呪文的なテクニックが溢れていました。それらの多くは、次世代モデルのinstruction tuningによって内部化され、一夜にして不要になりました。 外付けの工夫はモデルの進化に食われる——強化学習の世界で言われるBitter Lessonの、方法論版です。

ここから、実用的な判別基準が導けます。バズワードが名指している痛みが、 偶発的か構造的 かを見分ければ良いのです。 偶発的な痛み(モデルやAIの技術が現時点でできないこと)への命名は、次のモデルに吸収されて消えます。構造的な痛み(原理的に消えないこと)への命名は、エンジニアリングとして成熟する候補です。 Context Engineeringが比較的しぶといのは、「モデルは伝えられていないことを知り得ない」という情報理論的な境界、すなわちどれだけモデルが賢くなっても消えない痛みを扱っているからです。Loopもまた「生成は速いが検証は遅い」という非対称に根ざしており、構造的と言えるでしょう。
バズワードを前にしたとき、嗤うのでも追うのでもなく、「これは構造的な痛みか、偶発的な痛みか」と問う——これが本稿で提案したいことです。
ただし——ここで自説に一度ナイフを入れておきます。冒頭で私は「検証される前に次のEngineeringに移っている」と述べました。これは実は半分しか正しくありません。たとえばPrompt Engineeringは、Chain-of-Thought以降の膨大な研究によって、学術的には相当に検証されてきた分野です。欠けていたのは検証そのものではなく、研究知見をプロダクト実践へ転移させ、組織の標準として制度化する工程でした。論文は出たものの、自社のプロダクトで何が効くのかは、結局誰も体系化しなかったのです。問題の所在を「検証の不在」から「制度化の不在」へ修正すると、処方箋の輪郭がはっきりします。足りないのは研究ではなく、自社プロダクトでのOpsなのです。
4. バズワードとダークサイド
バズワードは、単に「仕方のないもの」ではなく、積極的な機能を果たしています。
LLM時代の技術開発は、中央計画のない地球規模の分散R&Dのような体を成しています。もちろんリードする主要プレイヤーはいますが、世界中のエンジニアが悲喜交交に活動しているのが現状です。誰も全体を統制していない場で、無数の試行錯誤を同じ問題に向かわせるには、 集合的な注意を調整する目印 が必要です。バズワードはまさにそれで、ゲーム理論で言うシェリングポイントとして機能しています。「Context Engineering」という名前が与えられた瞬間、世界中の開発者が自分の断片的な工夫を同じ棚に載せ、互いの知見をブログやレポジトリやSNSで発信しました。第1章で見たアジャイルマニフェストは、乱立した軽量方法論群を一つの旗印に収束させたシェリングポイントの好例だと言えます。

野中郁次郎のSECIモデルに重ねれば、この構図はさらに明瞭になります。現場の暗黙知に名前を与える命名は「表出化」であり、ブログやパターン集として知見が編まれる段階が「連結化」、そして組織の習慣として定着する段階が「内面化」です。 バズワードは知識創造プロセスの第一工程、つまり技術的成長の源泉そのものです。乱立は健全さの証拠ですらあります。

ダークサイドも検討しましょう。命名の生存競争を駆動しているのは、技術的妥当性ではなく社会的要因です。誰が言ったか、SEOに強いか、ベンダーのマーケティングが意味をどれだけ希釈したか、といった要因です。検証なき淘汰は「最良のもの」ではなく 「最も声の大きいもの」 を制度化しかねません。 シェリングポイントは、注意を正しい問題に集める力と、間違った問題に集める力を等しく持っているのです。
だからこそ、淘汰圧を社会的なものから技術的なものへ置き換える装置——つまり実装と検証の繰り返し、所謂xOpsが必要になります。
5. 二つの時計と変速機
現状を一枚の絵にすると、こうなります。私たちは 回転数の異なる二つの時計 の間で仕事をしています。
一つは 方法論の時計 です。モデルのリリースサイクルやアイデアの提唱に同期し、週単位から月単位で回ります。新しいモデルが出るたびに、何が効いて何が陳腐化したかが書き換わります。
もう一つは プロダクト価値の時計 です。ユーザの行動、信頼の獲得、習慣の形成に同期し、四半期から年の単位で回ります。開発した機能がユーザに使われ、人間が行動することで初めてフィードバックループが一周します。
回転数の違う二つの歯車を直結すれば、歯は欠けます。週単位で回る方法論にプロダクトを直結すれば、検証が終わる前に前提が崩れ続けます。年単位の検証に方法論を従属させれば、イノベーションの速度を捨てることになります。必要なのは直結ではなく、 変速機(ギアボックス) です。

ソフトウェアエンジニアリングの歴史を振り返ると、この変速機には既に名前が付いていることに気づきます。DevOpsやMLOpsと呼ばれるような「xOps」のプラクティスです。 すべてのxOpsは、フィードバックループの遅延削減である 、という見方を提案します。DevOpsは「コードを書いてから本番で価値が観測されるまで」の遅延を削り、MLOpsは「データとモデルが変わってから検証が終わるまで」の遅延を削りました。 Opsの本質は特定のツールチェーンではなく、二つの時計の回転数差を吸収し、遅い側のループを速く回す工学なのです。
ならば、LLM/エージェント時代のxOpsが削るべきものは何でしょうか? それはおそらく「方法論が提唱されてから、自分たちのプロダクトで検証が終わるまで」の遅延です。 最初に論じた非対称性——提案は機械の速度、検証は人間の速度——こそが、次のLLM/エージェント時代のxOpsが取り組むべき本丸です。 世の中ではLLMOpsやAgentOpsと呼ばれているものは、まさにこの問題に対処するための方法論の集合体であると理解できます。
ただし、「プロダクトの時計は遅い」という前提自体が、崩れつつある側面も無視できません。ユーザ側もエージェントになるB2A(Business to Agent)的なプロダクトや、合成ユーザによるシミュレーション検証が普及すれば、プロダクト側のループも機械の速度に近づいていくでしょう。二つの時計の回転数差は更に縮むかもしれません。しかし、どれだけ自動化が進んでも最後まで加速できない 人間の信頼形成 という歯車が残ります。プロダクトが人間の生活や事業に組み込まれる以上、信頼と習慣はシミュレーションでは前借りできないのです。
6. LLM時代のOpsの中身
では、その変速機には具体的に何を組み込むべきでしょうか。机上の空論で終わらせないために、具体的な中身を提唱します。
第一に、 挙動の可観測性 です。エージェント時代のログは、メトリクスではなく会話とツール実行のトレースです。エージェントが何を読み、何を試み、どこで迷ったかを後から監査できる構造を持たないシステムは、改善のしようがありません。以降のすべての項目は、この観測データの上に成り立ちます。
第二に、これが最も重要ですが、 評価資産とその複利化 です。自組織のドメインとプロダクトに固有のeval、品質の基準となるgolden dataset、そしてLLM-as-judgeを使うならその審判自体の校正が含まれます。汎用ベンチマークは公共財ですが、自社の文脈での有効性を測れるのは自社のevalだけです。ただし、一度作ったevalも放置すれば現実からずれていく静的なスナップショットにすぎません。ユーザとの相互作用から得られるデータを、その場の改善で使い捨てず、evalとgolden datasetへ還流させる経路までを設計して初めて、資産は自己更新を始めます。ここに本稿の鍵となる対比があります。個々の方法論はモデルの世代交代とともに 減価 していきますが、還流経路を持つ評価資産は蓄積するほど検証が速く正確になる、 複利で増える資産 となるでしょう。

第三に、 確率的システムの変更管理 です。モデルの更新による挙動ドリフトの回帰検知、プロンプトとコンテキストのバージョニング、エージェント構成のカナリアリリースが該当します。決定的なシステムを前提としてきた従来の変更管理を、確率的な挙動を前提に作り直す必要があります。
第四に、 自律性の管理 です。これは本稿発の提案概念として打ち出しますが、SREのエラーバジェットになぞらえて 自律性予算(autonomy budget) と呼びたいと思います。観測された信頼性の実績に応じて、エージェントに許す自律度——人間の承認なしに実行できる操作の範囲——を増減させる仕組みです。信頼性が予算を満たしているなら自律度を上げ、割り込み事故が増えたら自律度を下げます。エージェントへの権限委譲を、感覚ではなく観測で運用するための装置です。
この四つは独立した項目の羅列ではありません。観測し(第一)、測って蓄積し(第二)、変更を制御し(第三)、委譲を調整する(第四)——一つのフィードバックループの四つの局面です。ここに書いたことはLLMOpsやAgentOpsの文脈で広く語られていることかもしれませんが、実際に実践できている現場はそれほど多くないでしょう。LLMやエージェントは作ることに価値があるのではなく、プロダクトとしてユーザに使われることに価値があります。ユーザ価値を最大化するOpsは、今後さらに重要になっていくと考えます。
ただし、早すぎる制度化や実装にはリスクがあります。基盤モデルの登場によって、丹精込めて構築された重厚な自然言語モデルとMLOps基盤の少なくない部分が陳腐化したのは、記憶に新しい教訓です。月単位で回る世界で、何を固めれば良いのでしょうか。
私の考えは、 Ops化すべきは技法ではなく、不変量 というものです。個々のプロンプト技法やエージェント構成パターンは変化します。しかし、バージョニング、可観測性、評価、ロールバック、コスト管理、ガバナンスといった関心事は、モデルが何世代進もうと消えません。変化するものは軽く持ち、変化しないものを制度化し実装する——これが、早い歯車と遅い歯車の間を安全に繋ぐ変換器となります。
方法論の提案コストをゼロにしたのがLLMなら、検証コストを下げられるのもLLMです。 新しいEngineeringが提唱されたら、エージェントに自社の評価資産の上で数日で追試させれば良いのです。アジャイルが乱立から統合まで十年を要したような工程を、桁で圧縮できる可能性があります。方法論の自己再生産には 検証の自己再生産 を対置することが、LLM時代のxOpsの中心的な戦略となるでしょう。
7. まとめ
エージェントが自己修復も自動evalも担うようになるなら、いま述べたOps層もまた、いずれモデルに吸収されて消えるのではないでしょうか? 技術的な部分は、おそらくその通りで薄くなっていくでしょう。 しかしOpsの本質は、突き詰めれば責任の配分 です。何かが壊れたとき、誰がそれを知り、誰が判断し、誰が説明するのかという問題です。説明責任(accountability)は人間の制度にしか宿りません。技術のOpsは吸収されても、責任のOpsは最後まで残ります。
本稿の主張は 命名するなら、反証条件とevalを添えよ という規範の提案です。方法論は減価し、評価資産は複利で増えます。 だからこそ、次のバズワードが来ても、それが構造的な痛みの名前かどうかを見極め、自分たちの評価資産の上で追試し、効くものだけを不変量の棚に収めていくことを推奨します。その営みが回り始めた組織にとって、バズワードはもう脅威ではなく、ただの入荷案内です。Opsとは、バズワードが普通になって退屈になる場所のことなのです。
