「使い続けられる」AIエージェントを作るためのTips──非エンジニアの実践記録
この記事の結論を3行で：
「動くエージェント」と「使い続けられるエージェント」の差は、技術力だけじゃない
その差は──裏取り、文脈共有、失敗時の止め方にある
非エンジニアの私が、自分で動かして確認した3つのTipsを共有する
朝セットして、昼に見たら欲しい成果物はゼロだった
ある日の朝、作りたてのAIエージェントに分析を任せた。
その日は忙しくついつい、「XX月～XX月のキャンペーン一覧の効果をまとめて」とざっくり頼んだ。エージェントはクリック数とインプレッション数をきれいに並べて返してきた。でも、自社では「効果」と言ったら、予約数・来店率・ROIなどの項目は必須。「欲しかったもの」と「出てきたもの」が違う。
これでは、成果物はゼロ。
前回、AIエージェントを4体作って動かした。健康診断の流れで、データを自動分析する仕組みを作った話。（→ 非エンジニアが一晩でAIエージェント4体動かした全記録）
以前の論文記事でも書いたが、AIを試した企業の95%が「お試し」の先に進めていない。（→ 世界中のAI論文100本を超わかりやすくまとめた）
動いた。その後もいくつか試行し、「もう使い物になるだろう」と思っていた。
詰めが甘かった。
「動く」と「使い続けられる」は全く別の話だった。
その理由が、自分のエージェントでそのまま再現された。
新人に仕事を振るとき、丸投げはしない
エージェントの品質管理。調べると、Evaluation（品質評価）、Guardrail（出力制御）、RedTeam（セキュリティ検証）。エンジニアが体系化してきた専門領域だ。
でも自分で検証してみて、気づいた。
全部、新人の管理と同じことをやっている。
新人に仕事を任せるとき、どうする？
丸投げはしない。まず報告させる。業界・自社の用語を教える。同じミスを繰り返す前に止める。
Evaluation ＝ 報告書のチェック。
Guardrail ＝ やらかす前のストッパー。
RedTeam ＝ わざと意地悪な質問をして耐性を確認。
開発現場で実践されている4つのルール──「理解できるか判断する」「困ったらドキュメントに戻る」「ダメなら方法を見直す」「人間が主導権を握る」──これも、新人を育てるマネージャーなら当たり前にやっていること。
AIエージェントの品質管理は、技術の問題じゃなかった。マネジメントの問題だった。
3つのTips
ここからが実践。
自分でエージェントを動かして検証した結果を3つのTipsに整理する。Hugging Faceの無料エージェントコースでエージェントを構築し、わざと失敗させて、何が起きるか確認した。PJに本格導入する前に、仕組みを自分の手で確かめておきたかった。
Tips 1：報告は裏取りしろ
新人が「A社の売上、前年比120%です」と報告してきた。
「その数字の出どころは？」と聞く。「自分で計算しました」——それ、元データ見た？
AIも同じことをやる。
エージェント開発の教材で紹介されている有名なデモがある。エージェントに「天気を教えて」と聞く。エージェントは天気APIを呼ぶ…はずだった。
実際にはAPIを一度も叩いていなかった。
AIが「曇り、15℃、湿度60%」を自分の頭で作り上げて、あたかも本物のデータのように返した。全部嘘。ハルシネーション。自信満々に嘘をつく。
対策はシンプル。 「自分で調べました」を許さない仕組みにする。
新人に「必ず元データを添付して報告しろ」とルールを決めるのと同じ。エージェントにも「必ず外部ツールを呼んで、その結果を使って答えろ」というルールを組み込む。
自分でエージェントを動かして確認した。このルールが入っているエージェントに「東京の現在時刻は？」と聞いたら、ちゃんとタイムゾーンAPIを呼んで、本物の時刻データで回答してきた。2ステップ、2秒。嘘をつく隙がない。
同じAIでも、「元データを添付しろ」のルールがあるかないかで、嘘つきにも正直者にもなる。
Tips 2：業界・自社の専門用語は初日に教えろ
冒頭の失敗がまさにこれだ。
「効果」と言ったらクリック数とインプレッションの2つを出した。AIは汎用モデルだから、自社の業務での「効果」が何を意味するか知らない。
新入社員に、業界用語や自社の用語を教えないまま仕事を振るのと同じ。
やること： エージェントの初期設定（システムプロンプト）に、自分の業務で使う専門用語と定義を書く。「効果とは●●のことである」「チャーンとは解約率のことである」「その他、自社の●●という用語はこう解釈するなど」。新入社員のオリエンテーションと同じ。まずは、5〜10個で十分。
さらにRAGで社内文書を検索可能にすれば、文脈ごとAIに渡せる。実際に社内文書をRAGで取り込んでチャットボットにした事例では、回答に引用元の文書が表示される。「この回答は○○の規定に基づいています」と根拠を示す。Tips 1の裏取りと、Tips 2のドメイン知識注入を同時に実現している。
Tips 3：3回空振りしたら止めろ
冒頭の失敗をもう少し詳しく書く。
エージェントは6回の検索枠を全部使い切っていた。「効果」という抽象的な言葉を解釈し出力するのに、1回目で結果なし。2回目も結果なし。3回目も結果なし。4回目で解釈できる候補を出し始めた。が、5回目、6回目にはパニックになり、とりあえずこれかなという半ばやっつけで最終出力していた。
人間なら1〜2回の空振りで「このやり方じゃダメだ」と判断する。
開発現場で実践されているルールに「数回試してダメなら方法を見直す。深追いしない」というものがある。AI丸投げで痛い目を見た経験から生まれたルールだ。
問題は、これを人間がリアルタイムで監視するのは現実的じゃないこと。だからエージェント自身に組み込む。
やること3つ。
上限設定。 何回まで試行するかの上限を設ける。これがなければ無限に空振りを繰り返す。
品質チェック。 各ステップの出力が空だったり、前回と同じ結果だったりしたら、アプローチを変える。3回連続で空振りなら「検索キーワードの意味を教えてもらえますか？」と人間に確認する。
フォールバック。 検索がダメなら自分の知識で部分回答する。「全部ダメでした」で終わらない。障害検知→AIが自動で原因分析→チャットツールに報告、という設計で運用されている事例もある。人間が介入するのは、AIの分析結果を確認して最終判断するところだけ。
結局、これは何の話だったのか
ここまで読んで気づいた人もいると思う。
Tips 1（報告は裏取りしろ）＝ 部下の報告を鵜呑みにしない
Tips 2（業界・自社用語は初日に教えろ）＝ 新人に文脈を渡す
Tips 3（3回空振りしたら止めろ）＝ 同じミスを繰り返す前に介入する
全部、人を育てるときにやっていることだ。
AIエージェントの品質管理をカタカナで語ると、Evaluation、Guardrail、RedTeam。規模が大きくなればなるほど本格的な実装にはエンジニアの力が必要不可欠なことも事実。
でも、その手前にある「何を測るか」「どこで止めるか」「どんな文脈を渡すか」は、業務を知っている人間が決めること。
「後輩の育て方」と言い換えた瞬間、職場で人に仕事を教えたことがある人なら全員わかる。
非エンジニアにもできることが多くある。業務の現場を知っている自分だからこそ、立てられる「問い」がある。
これが「使い続けられるエージェント」を作る最大のTipsだと、自分で動かして確認できた。
次回予告
「やることはわかった。で、具体的にどうやるの？」
次回は、エージェントの中身を開けて「どこに何を書けば3つのTipsが実装できるか」を書く。prompts.yamlへの5行追加から、AIにコードを書かせる依頼の仕方まで。
業界用語5個をシステムプロンプトに書く。10分でできる最初の一歩から始める。
📚 シリーズ記事
▸ 非エンジニアが一晩でAIエージェント4体動かした全記録──健康診断で完全理解 → https://note.com/clean_eagle110/n/nd8c8f0ccfc0f
▸ 世界中のAI論文100本を超わかりやすくまとめた──使える会社と使えない会社の差 → https://note.com/clean_eagle110/n/n1c0e246e88bd
▸ 「AI上司」を作ってみた──AIエージェントの全体像 → https://note.com/clean_eagle110/n/nd478b6174051
この記事が参考になったら「スキ（♡）」を押してもらえると励みになります。
Xでも毎日AIの実践知を発信しています → @data_ai_labo https://x.com/data_ai_labo
フォローで次の記事の更新通知が届きます。
✍️ 私について
大手企業のAI導入プロジェクトに、事業側PMOとして複数案件参画中。
「使ってみた」でなく、「業務で実装した」側の記録を公開。
フォローしてくださった方の記事は、時間の許す範囲で積極的に読ませていただきます
