メインコンテンツへスキップ
見出し画像

プロンプトエンジニアリングの先にあるLLM制御の最前線 | プロンプト・コンテキスト・ハーネス・ループエンジニアリングを比較

    はじめに|LLMの回答品質は「プロンプト」だけで決まるのか?

    ChatGPTなどの生成AIを使っていて、次のように感じたことはないでしょうか。

    • 何度指示を変えても、期待した回答にならない

    • 間違った情報を自信満々に回答してしまう

    • 同じ質問でも、回答の内容や形式が安定しない

    • 社内資料を参照させても、古い情報を使ってしまう

    • AIエージェントに仕事を任せたいが、誤操作が心配

    こうした問題への対策として、まず思い浮かぶのが「プロンプトエンジニアリング」です。しかし、実際のAIシステムでは、プロンプトを改善するだけでは解決できない課題も数多く存在します。

    そこで近年、プロンプトエンジニアリングに加えて、次のような考え方が注目されています。

    • プロンプトエンジニアリング(Prompt Engineering)

    • コンテキストエンジニアリング(Context Engineering)

    • ハーネスエンジニアリング(Harness Engineering)

    • ループエンジニアリング(Loop Engineering)

    いずれも生成AIの性能を引き出し、期待どおりに動作させるための設計手法ですが、何を設計するのかが異なります。本記事では、これら4つの手法の違い、具体例、使い分け、発展の歴史を図解とともに解説します。IPA情報処理技術者試験のAI分野を学習している方はもちろん、実際に生成AIを業務で利用している方にも役立つ内容です。



    1. LLMの「品質改善」と「コントロール」とは?

    最初に、生成AIの品質を改善するとはどういうことなのかを整理しましょう。LLM(Large Language Model:大規模言語モデル)は、入力された文章や会話履歴などを基に、確率的に文章を生成します。非常に高い言語処理能力を持っていますが、出力が常に正しいとは限りません。そこで重要になるのが、次の2つの考え方です。

    品質改善(Quality Improvement)
    LLMの回答が、目的に対してどの程度適切なのかを評価し、改善することです。例えば、正確性、有用性、一貫性、根拠の妥当性、安全性などを高めます。

    コントロール(Control / Steering)
    LLMの振る舞いや、実行できる操作を目的に応じて制御することです。例えば、回答形式を指定する、特定の社内文書だけを参照させる、外部システムへの更新操作を制限するといった制御が該当します。ここで注意したいのは、品質改善とコントロールは密接に関係していますが、同じ意味ではないということです。

    例えば、LLMが自然な文章を生成できても、機密情報を外部へ送信してしまうのであれば、業務システムとして適切とはいえません。反対に、権限制御が完璧であっても、回答が不正確では十分な価値を提供できません。つまり、LLMの能力を引き出す工夫と、安全かつ安定して使うための仕組みの両方が必要なのです。


    2. 4つのエンジニアリング手法を比較する

    まずは全体像を押さえましょう。

    画像

    覚え方はシンプルです。
    Prompt:何を指示するか
    Context:何を見せるか
    Harness:どのような環境で実行させるか
    Loop:いつ・どのように繰り返すか

    例えば、生成AIに「社内規程について回答する仕事」を任せる場合で考えてみましょう。
    Prompt Engineeringでは、回答形式や回答時の注意事項を指示します。
    Context Engineeringでは、必要な社内規程を検索してLLMに渡します。
    Harness Engineeringでは、アクセス権限の確認、出典検証、操作制限など、仕組みを設計します。
    Loop Engineeringでは、情報不足の場合の再検索や回答の再検証、完了条件を満たすまでの反復処理などを設計します。

    これらは互いに競合する技術ではありません。一つのAIシステムの中で、複数の手法を組み合わせて使うものです。また、4つが厳密に独立しているわけでもありません。例えば、プロンプトはコンテキストの一部であり、ハーネスの中にループ処理が含まれることもあります。

    画像

    3. それぞれのエンジニアリング手法を詳しく解説

    3-1. プロンプトエンジニアリング(Prompt Engineering)

    プロンプトエンジニアリングとは、LLMへの指示文を設計・改善し、望ましい回答を得やすくする手法です。

    生成AIを利用する上で、最も身近なエンジニアリング手法といえるでしょう。例えば、次のプロンプトを考えてみてください。

    改善前

    このシステムについて説明して。

    これでは、何をどの程度の詳しさで説明すればよいのか分かりません。

    そこで、次のように変更します。

    改善後

    あなたはITインフラの技術講師です。
    RDBMSのトランザクション分離レベルについて、初学者向けに説明してください。次の項目を含めてください。専門用語には簡潔な補足を付け、最後に比較表を作成してください。

    ・分離レベルの目的
    ・代表的な4つの分離レベル
    ・ダーティリードとファントムリードの違い
    ・具体的なSQL実行例

    このように、対象読者、目的、制約条件、出力形式を明確にすることで、回答を目的に近づけやすくなります。代表的な手法には以下があります。

    画像


    3-2. コンテキストエンジニアリング(Context Engineering)

    コンテキストエンジニアリングとは、LLMに渡す情報を選択・整理・維持し、目的に合った回答を得やすくする手法です。

    プロンプトエンジニアリングが「どう指示するか」に注目するのに対し、コンテキストエンジニアリングは「何を情報として与えるか」に注目します。

    例えば、社内の勤務規程について生成AIに質問したいとします。

    最新のリモートワーク申請ルールを教えてください。

    プロンプトをいくら工夫しても、LLMが最新の社内規程を参照できなければ、正確な回答は期待できません。そこで、必要な社内規程を検索し、関連箇所をLLMに渡します。このような外部情報の検索・参照には、RAG(Retrieval-Augmented Generation:検索拡張生成)がよく利用されます。

    ただし、RAGとコンテキストエンジニアリングは同じ意味ではありません。RAGは、外部情報を検索して生成に利用する技術です。一方、コンテキストエンジニアリングでは、検索結果に加えて、会話履歴、作業状態、メモリ、ツールの説明、システム指示なども含め、LLMが参照する情報全体を設計します。

    主な工夫は次のとおりです。

    画像

    重要なのは、単に大量の情報を渡すことではありません。LLMには一度に扱える情報量の上限があり、不要な情報の混入が回答品質の低下につながる場合もあります。そのため、必要な情報を、必要なタイミングで、適切な量だけ渡すことが重要です。なお、外部資料に誤情報や悪意のある指示が含まれる可能性もあります。情報源の信頼性確認やアクセス制御も欠かせません。

    3-3. ハーネスエンジニアリング(Harness Engineering)

    ここからは、AIエージェントの普及によって、特に注目が高まっている考え方です。

    ハーネスエンジニアリングとは、AIエージェントが安全かつ安定して作業できるように、ツール、実行環境、制約、検証機構などを設計することです。ここでいう「ハーネス(Harness)」は、AIを支える実行基盤・周辺機構のような意味です。

    例えば、生成AIにプログラムを書いてもらう場面を想像してください。AIにコードを書かせるだけなら、プロンプトを工夫すれば対応できるでしょう。

    しかし、実際の開発では、それだけでは十分ではありません。

    • 作成したプログラムが正常に動作するか

    • テストが成功するか

    • 既存機能を壊していないか

    • 許可されていないファイルを変更していないか

    • 問題が発生したときに復旧できるか

    こうした課題に対応するため、LLMの外側にさまざまな仕組みを用意します。

    画像

    例えば、AIエージェントにSQLを生成させるシステムを考えます。プロンプトで「データを削除しないでください」と指示するだけでは、確実な安全対策とはいえません。そこで、データベースの権限自体を参照専用にしたり、実行可能なSQLを制限したりします。これは、LLM自身の判断に頼るのではなく、システム側で実行を制御するという考え方です。

    2026年2月、OpenAIはCodexを活用した開発事例とともに、このハーネスエンジニアリングの重要性を紹介しています。生成AIを「回答する道具」から「仕事を実行するエージェント」へ進化させる上で、重要な設計領域といえるでしょう。

    3-4. ループエンジニアリング(Loop Engineering)

    ループエンジニアリングとは、AIエージェントの実行・評価・再試行などを継続的に回す仕組みを設計する考え方です。

    例えば、プログラムを作成するAIエージェントを想像してください。
    通常の生成AIであれば、次のようなやり取りが発生します。

    ・人間がコード作成を指示し、AIが生成する。
    ・人間がテストしてエラーを見つけ、AIに修正を依頼する。
    ・さらに人間が再度テストし、問題があれば再び修正させる。

    これでは、人間が毎回処理を指示しなければなりません。
    そこで、次のような仕組みを設計します。

    ① AIがコードを生成する
    ② 自動テストを実行する
    ③ テスト結果を判定する
    ④ 不合格ならエラー内容を基に修正する
    ⑤ 合格したら、必要な人間の確認を経て完了する

    これらを一定の条件に従って繰り返すことで、人間が毎回指示を出さなくても作業を進められます。ただし、ループエンジニアリングは、単なる「エラーが出たら再実行する処理」だけを指すものではありません。より広く、スケジュール実行、作業の発見、複数エージェントへのタスクの割当て、進捗管理、結果の検証といった継続的なワークフローの設計も含む考え方として論じられています。

    なお、「Loop Engineering」は2026年に注目が高まった比較的新しい表現です。技術用語としての定義や対象範囲は、まだ統一されていません。また、無制限にAIを動かし続ければよいわけではありません。

    例えば、次のような停止・制御条件が重要です。

    • 最大実行回数

    • 時間やAPI利用コストの上限

    • 完了を判断するための客観的な基準

    • エラー時に人間へ引き継ぐ条件

    • 操作の承認が必要なタイミング

    ループを設計する上では、「何を繰り返すか」と同じくらい、「いつ止めるか」が重要なのです。

    画像

    4. 発展の歴史|プロンプトから自律的なAIエージェントへ

    それでは、なぜ次々と新しいエンジニアリング手法が登場したのでしょうか。背景にあるのは、生成AIに任せる仕事の範囲が広がってきたことです。

    画像
    画像

    第1段階:指示文を工夫する

    生成AIが主にチャット形式で利用されていた段階では、利用者が入力する指示文の工夫が重要でした。ここで中心となったのがプロンプトエンジニアリングです。

    第2段階:外部の情報を適切に与える

    企業の業務や専門領域で生成AIを活用するようになると、LLMが学習していない情報を扱う必要が生じます。そのため、RAGや会話履歴の管理などを含む、より広いコンテキスト設計が重視されるようになりました。

    第3段階:AIが作業できる環境を用意する

    生成AIがツールを操作し、実際の処理を実行するようになると、指示や参照情報だけでなく、権限・ツール・検証環境などの設計が重要になりました。ここでハーネスエンジニアリングという考え方が注目されます。

    第4段階:作業を継続的に実行する

    AIエージェントが複数の作業を進めるようになると、毎回人間が指示する運用がボトルネックになります。そのため、作業の発見、実行、検証、再試行、状態管理などを継続的に回す仕組みが重視されるようになりました。これがループエンジニアリングという考え方につながっています。

    このように、技術の発展とともに、エンジニアが設計する対象は拡大してきました。ただし、新しい手法が登場したからといって、古い手法が不要になったわけではありません。例えば、高度なAIエージェントでも、プロンプトの設計や適切なコンテキスト管理は欠かせません。



    5. 具体例|社内FAQシステムの回答品質を改善してみる

    ここまでの内容を、実務に近い例で整理してみましょう。

    次のような社内FAQシステムを開発するとします。
    目的:社員が社内規程について質問すると、根拠となる文書を示しながら回答する。

    例えば、

    今年度のリモートワーク申請ルールを教えてください。

    という質問に回答するシステムです。

    画像


    ステップ1:プロンプトを改善する

    まず、回答時のルールを定義します。

    例えば、次のように指示します。
    これによって、回答形式と回答方針をコントロールします。

    あなたは社内規程の案内担当です。
    回答には、参照した文書の名称と改訂日を記載してください。
    規程に記載されていない情報は推測せず、不明であることを明示してください。

    ステップ2:参照する情報を改善する

    次に、回答に必要な社内規程を検索します。例えば、RAGを使って、質問に関連する文書を取得します。このとき、最新の版を優先したり、不要な文書を除外したりする設計が必要です。また、質問者が閲覧権限を持たない文書を検索結果に含めないことも重要です。

    これがコンテキストエンジニアリングの考え方です。

    ステップ3:実行環境と検証機構を整える

    続いて、システム側に次の仕組みを設けます。

    • 利用者のアクセス権限を確認する

    • 回答の根拠となる文書が存在するか確認する

    • 不適切な外部操作を制限する

    • 処理結果をログとして記録する

    例えば、LLMが「申請期限は今月末です」と回答した場合、実際に参照文書にその根拠があるかを確認します。根拠を確認できなければ、回答を保留する設計も考えられます。

    これがハーネスエンジニアリングです。

    ステップ4:評価と再試行を仕組み化する

    最後に、必要に応じて再検索や再検証を実施する仕組みを設けます。例えば、参照文書が古い場合は、新しい文書の検索を試みます。根拠不足の場合は回答を確定せず、追加調査するか、人間の担当者に引き継ぎます。

    これがループ設計の一例です。ただし、際限なく検索し続けないように、再試行回数や停止条件も定めます。

    このように、4つの手法はそれぞれ異なる角度からAIシステムの品質を支えています。


    6. 実務ではどう使い分ける?

    ここまで学んだ4つの手法について、目的別の選び方を整理しましょう。

    画像

    大切なのは、最初からすべてを複雑に設計しないことです。単純な文章要約であれば、プロンプトの改善だけで十分な場合もあります。一方、社内データへのアクセスや外部システムの更新を伴うAIエージェントでは、コンテキスト管理、権限制御、検証、承認などの仕組みが必要になります。

    まず解決したい課題を明確にし、必要な設計領域から改善する。
    これが最も現実的な進め方です。


    7. ほかにもある「○○エンジニアリング」

    ここまで4つの手法を紹介しましたが、LLM関連では、ほかにもさまざまな名称が使われています。代表的なものを整理します。

    7-1. エージェントエンジニアリング(Agent Engineering)

    AIエージェントが、目的に応じてツールを利用したり、タスクを分解したり、処理を進めたりできるように設計することです。ツール選択、ワークフロー、状態管理、複数エージェントの役割分担などを含む、比較的広い概念です。HarnessやLoopと重なる部分もあります。

    7-2. エバリュエーションエンジニアリング(Evaluation Engineering / Evals)

    生成AIの出力品質を評価するためのテストデータ、評価基準、評価処理などを設計する考え方です。例えば、社内FAQシステムの品質を確認するため、代表的な質問を集めた評価セットを用意します。そして、回答の正確性、根拠の有無、権限違反の有無などを検証します。

    LLMの出力を別のLLMで評価する「LLM-as-a-Judge」という手法もあります。ただし、評価用LLMの判断にも誤りや偏りがあり得るため、重要な評価では人間による確認や客観的なテストと組み合わせることが重要です。なお、Evaluation Engineeringという名称自体は、統一された単一の標準技術名ではありません。実務では「Evals」「評価駆動開発」などの表現も使われます。

    7-3. ツールエンジニアリング(Tool Engineering)

    LLMが外部機能を安全かつ適切に使えるよう、ツールの入出力、説明、エラー処理などを設計する考え方です。例えば、LLMにデータベース検索機能を提供する際、どのような引数を受け取り、どのような結果を返すかを明確にします。ツールが使いにくいと、LLMが適切なツールを選べなかったり、不正な引数で呼び出したりする可能性があります。

    7-4. グラフエンジニアリング(Graph Engineering)

    複数のタスクやAIエージェントの間に存在する、依存関係、分岐、並列実行、承認経路などをグラフ構造で設計する考え方です。例えば、調査担当AI、分析担当AI、レビュー担当AIを組み合わせて業務を進める場合などが考えられます。ただし、Graph Engineeringを独立したエンジニアリング領域として扱う分類は、2026年11月時点で統一されたものではありません。従来からあるワークフロー設計やエージェントのオーケストレーションとも重なるため、発展的な整理として理解するとよいでしょう。



    8. 見落としがちなポイント|品質改善には「評価」が不可欠

    ここまで読んで、「自分のAIシステムにはどの手法を使えばよいのか」と考えた方もいるかもしれません。その際、見落としがちなのが評価の仕組みです。

    例えば、プロンプトを変更したところ、一つの質問への回答が改善したとします。しかし、別の質問への回答品質が悪化していれば、システム全体として改善したとはいえません。そこで、代表的な質問を集めた評価データセットを用意し、変更前後で比較します。

    評価指標の例としては、次のようなものがあります。

    画像

    重要なのは、評価指標を先に決めておくことです。評価する仕組みがなければ、どの改善が効果的だったのかを判断しにくくなります。
    また、AIが自分の回答を「正しい」と評価しただけでは、客観的な品質保証にはなりません。テスト、ルール検証、実データとの照合、人間のレビューなどを組み合わせることが重要です。

    AIの品質改善は、プロンプトを修正して終わりではなく、評価と改善を繰り返す継続的な取り組みなのです。


    9. IPA情報処理技術者試験では、どう学ぶべき?

    最後に、IPA試験対策の観点から整理します。

    9-1. まず押さえるべきはプロンプトエンジニアリング

    応用情報技術者試験のシラバスVer.7.0では、AI関連の用語例として「プロンプトエンジニアリング」が明記されています。

    そのため、次のような基礎知識を理解しておきましょう。

    • プロンプトエンジニアリングの目的

    • Zero-shotとFew-shotの違い

    • 指示、条件、出力形式などを指定する理由

    • LLMのハルシネーションとその対策

    • RAGによる外部情報の活用

    9-2. コンテキスト設計とAIエージェントは発展知識として理解する

    Context、Harness、Loop Engineeringは、AIシステムの実装技術や運用設計を理解する上で役立ちます。ただし、これらの用語がそのままIPA試験に出題されると断定することはできません。

    特に、Harness EngineeringやLoop Engineeringは比較的新しい概念です。現時点では、用語そのものを暗記するよりも、背景にある技術や設計上の目的を理解することをおすすめします。例えば、AIに操作権限を与える際のリスク、RAGで必要な情報を取得する仕組み、ログによる追跡、検証とフィードバックなどは、AI以外のIT技術とも関連しています。

    9-3. 理解度チェック

    問題1
    LLMに出力形式や回答条件を明示する手法として、最も適切なものはどれか。

    A. ハーネスエンジニアリング
    B. プロンプトエンジニアリング
    C. ループエンジニアリング
    D. コンテキストエンジニアリング

    正解:B
    LLMへの指示文を設計・改善する手法は、プロンプトエンジニアリングです。

    問題2
    社内文書を検索し、質問に関連する情報をLLMへ渡す仕組みと、最も直接的に関連するものはどれか。

    A. RAG
    B. モデル量子化
    C. オーバークロック
    D. データベースの正規化

    正解:A
    RAGは外部情報を検索し、生成処理に利用する技術です。コンテキストエンジニアリングにおける情報提供の手段として利用できます。

    問題3
    AIエージェントが生成したプログラムを自動テストし、失敗した場合に修正を試みる。これを繰り返すための制御の設計として、最も適切なものはどれか。

    A. プロンプトの文体調整
    B. 学習データのラベル付け
    C. ループエンジニアリング
    D. モデルの蒸留

    正解:C
    実行、検証、修正、再実行を繰り返す仕組みの設計は、ループエンジニアリングの典型的な例です。

    10. まとめ|これからのAI活用では「指示」だけでなく「仕組み」の設計が重要

    本記事では、LLMの品質改善・コントロールに関する4つの代表的なエンジニアリング手法を解説しました。最後にもう一度整理します。

    画像

    生成AIの活用は、チャット画面で質問に答えてもらう段階から、外部情報を参照し、ツールを操作し、複雑な仕事を進める段階へと広がっています。それに伴い、品質を改善するために考えるべきことも増えてきました。プロンプトだけで回答品質を改善しようとしても、情報の不足や実行環境の問題までは解決できません。一方で、複雑な仕組みを作れば必ず品質が上がるというわけでもありません。

    AIに何を任せたいのかを明確にし、その目的に合った情報、環境、検証、反復の仕組みを設計することが重要です。これから生成AIを学ぶ上では、個々のモデルやプロンプトのテクニックだけでなく、AIシステム全体をどのように設計するのかという視点も身に付けておきたいところです。



    関連記事


    参考資料

    本記事の技術的な説明は、以下の公開資料を参考にしています。

    1. IPA「応用情報技術者試験 シラバスVer.7.0」
      https://www.ipa.go.jp/shiken/syllabus/gaiyou.html

    2. IPA「テキスト生成AIの導入・運用ガイドライン」(2024年7月)
      https://www.ipa.go.jp/jinzai/ics/core_human_resource/final_project/2024/f55m8k0000003spo-att/f55m8k0000003svn.pdf

    3. Anthropic「Effective context engineering for AI agents」(2025年9月29日)
      https://www.anthropic.com/research/effective-context-engineering-for-ai-agents

    4. LangChain「Context Engineering」(2025年7月2日)
      https://www.langchain.com/blog/context-engineering-for-agents

    5. OpenAI「Harness engineering: leveraging Codex in an agent-first world」(2026年2月11日)
      https://openai.com/ja-JP/index/harness-engineering/

    6. Addy Osmani「Loop Engineering」(2026年6月8日)
      https://addyo.substack.com/p/loop-engineering

    7. OpenAI「Evaluation best practices」
      https://developers.openai.com/api/docs/guides/evaluation-best-practices

    8. Anthropic「Building effective agents」(2024年12月19日)
      https://www.anthropic.com/research/building-effective-agents


     
     
    IT資格の勉強法・合格ノウハウを発信。 書籍では追いにくい最新技術や最新動向まで。 試験対策だけでなく実務にも活きる知識をお届け。 【保有資格】 ・IPA:FE、AP、SC ・DB:OracleDB-Gold、OSSDB-Gold ・Cloud:AWS-SAP、OCI-AP

    あなたへのおすすめ