
AIの回答が「関連はあるのに間違っている」とき、どの層を疑えば直せるのか~トレースと評価の基礎~
【発端】 関連はあるのに間違っている回答

最近、@tonycuevaさんのX Article「Evals and Tracing 101」を読みました。AIアプリの品質を測る入門ガイドの前編です。
靴のオンラインストアのサポートボットを題材に、トレース(処理の記録)と評価(採点)を説明しています。
「話題は合っているのに、中身が間違っている」回答を診断の例にしている点が面白いです。返品期限の質問に、返品の話はしているのに日数を誤って答えます。
この種の失敗は、回答が質問に関連しているかを見るだけでは見つかりません。
この記事では、どの層から間違い始めたかをトレースで特定する方法、ずれをスコアにする方法、失敗をゴールデン(golden。保存した模範例)として回し続ける方法を整理します。
先に断っておくと、原文は評価フレームワークDeepEvalを開発するConfident AIの社員が書いた、ベンダーの教育コンテンツです。本文の数字は著者自身の実行結果で、第三者が検証したものではありません。
連載の後編(評価ハーネスとCI)は、別の記事で取り上げています。評価を毎回自動で回す仕組みはこの記事では扱いませんので、続けて読む方はこちらをどうぞ。
【基礎】 トレースは記録、評価は採点

トレースは「何が起きたか」を残し、評価は「それは良かったか」を点にする道具です。
トレースは、1回のリクエストの全記録です。質問から最終回答までを指します。
その中の1ステップがスパンです。文書の検索、LLMの呼び出し、注文照会ツールが、それぞれ1スパンになります。
この考え方の出どころは、業界標準のOpenTelemetryです。スパンは親子に入れ子にでき、名前、開始と終了の時刻、属性などを持ちます。
評価は、AIの出力を採点するテストです。1件の例をテストケース(質問、実際の回答、検索で使った文書など)と呼びます。
採点のルールがメトリクス(指標)、合格の最低点がしきい値です。しきい値が0.7でスコアが0.6なら、不合格になります。
採点役には、別のLLMを使うことが多いです。文字列の一致では、回答が役に立つかを判定できないからです。
この採点役を判定役と呼び、方式の名前はLLM-as-a-judgeです。
【違い】 テストが通っても動くとは限らない

AIでは「合っているか」の二択ではなく、「どの観点で何点か」を見ます。
従来のソフトウェアは、同じ入力に同じ出力を返します。テストが通れば、機能は動くと言えました。
LLMを含むアプリでは、同じ質問でも答えが揺れます。全部緑のテストが、機能の品質を保証しません。
出力
従来のテスト:毎回同じ
LLMを含むアプリ:答えが揺れる
判定
従来のテスト:完全一致で合否
LLMを含むアプリ:スコアとしきい値
原因の探し方
従来のテスト:同じ入力で再現して探す
LLMを含むアプリ:出力が最初におかしくなったスパンを探す
1つの指標で言えること
従来のテスト:通れば動く
LLMを含むアプリ:その観点だけ。関連があっても誤りは残る
最後の項目が、この記事の出発点です。指標は1つにつき1つのことしか見ません。
回答の関連度が満点でも、日数が間違っている可能性は消えません。
【仕組み】 最初に間違えた層を探し、点にして、回す


疑う層をトレースで決め、スコアで固定し、ゴールデンで再発を止めます。
一手目は、悪い回答のトレースを開き、出力が最初におかしくなったスパンを探すことです。検索が正しい文書を返しているなら、疑う先はその下流に移ります。
二手目は、層ごとに別の指標を当てることです。RAG(文書を検索してから回答を書く方式)では、検索の質をcontextual relevancy、回答が検索結果に沿っているかをfaithfulnessで測ります。
両方のスコアを組で読むと、疑う層が絞れます。
検索の指標が高く、faithfulnessが低い
読み方:検索は役目を果たし、生成側が文脈と食い違う回答を書いた
疑う層:プロンプト、LLM
両方低い
読み方:先に検索を直す
疑う層:検索
両方高いのに誤り
読み方:筆者の整理です。faithfulnessは取得した文脈との矛盾を見るので、資料そのものが古いと拾えません
疑う層:知識ベース、または別の指標
ツール選択の指標が低い
読み方:違うツールを呼んだか、入力が違う。トレースで確認します
疑う層:エージェントのツール選択
会話の途中で情報が抜ける
読み方:会話全体を1ケースにして測ります
疑う層:会話の記憶
最初の2つは原文の読み方です。3つ目は、DeepEvalのfaithfulnessの定義から私が整理した補助線にあたります。
三手目が、失敗を回す輪です。保存した例がゴールデン(golden)、その全体がデータセット(dataset)です。
プロンプト、モデル、検索を変えるたびに、データセットを全件回します。これをリリース前の評価(オフライン評価)と呼びます。
以前は通ったのに今回落ちたケースが回帰(regression)です。出荷の判断は、合格率と回帰の数で行います。
公開後は、同じ指標を本番のトレースに当てます。これがオンライン評価です。
【具体例】 「40日後の返品」を三手でたどる

トレースが原因の場所を示し、評価がそれを毎回検出する仕組みに変えます。
質問は「40日たった靴を返品できますか」です。ボットは「60日以内なら返品できます」と答えました。
実際の返品ポリシーは30日です。
トレースを上から読みます。検索のスパンは、30日と書かれたポリシーを返していました。
LLMのスパンの回答は60日です。その先頭にあるシステムプロンプトに、古い「60日」の一行が残っていました。
ポリシーが変わったのに、プロンプトは更新されていなかったのです。
次に評価を当てると、回答の関連度は1.00で合格になります。返品の話をしているからです。
一方、faithfulnessは0.00で、判定役の理由は検索結果との矛盾でした。検索の関連度は合格で、トレースの結論と一致します。
古い一行を直し、5件のゴールデンを回すと、合格は2件から4件に増え、回帰は0件でした。遅延注文の回答も、同じ古い行の影響で誤っていたため、同時に直っています。
注意点があります。これは著者自身の、5件という小さな実行結果です。
手法が効く証拠としてではなく、診断の流れの見本として読むのが安全です。
【関連概念】 指標と判定役を疑う視点

スコアは事実そのものではないので、測り方を疑う視点が要ります。
指標が見ているもの:contextual relevancyは、取得した文書のうち質問に関係する文の割合です。正しい文書が混ざっていても、ノイズが多ければ点が下がります。
RAGの分け方:RAG評価のガイドは、検索側と生成側の指標を分けて見る考え方を示しています。学術側では、正解ラベルなしで複数の観点を測るRagasが基礎になっています。
判定役の癖:LLMに採点させる方法は、MT-Benchの論文で、位置、冗長さ、自己びいきの偏りが指摘されています。G-Evalは、評価基準を文章で書いてLLMに採点させる枠組みです。
悪い例での確認:原文は、既知の悪い回答で指標を回し、高得点が出たら、しきい値や基準を直すよう勧めています。
参考情報・参考書籍(PR)
本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。
『大規模言語モデル入門』(山田育矢監修、鈴木正敏、山田康輔、李凌寒、技術評論社)は、書名のとおり大規模言語モデルの入門書で、この記事が疑う回答生成の前提を補います。
『機械学習システムデザイン ―実運用レベルのアプリケーションを実現する継続的反復プロセス』(Chip Huyen著、江川崇、平山順一訳)
関連記事
【まとめ】 自分のアプリで試す順番
点数より先に、悪い回答を20件読むところから始めます。
悪い回答のトレースを20件読み、最初に出力がおかしくなったスパンを書き出します。
失敗の種類ごとに、検索、プロンプト、ツール、会話のどの層かを分けます。
層に合う指標を選び、既知の悪い回答で高得点が出ないかを確かめます。
実際の失敗をゴールデンにして、5件ほどのデータセットを作ります。
変更の前後で合格率と回帰の数を比べます。
評価を毎回自動で回す仕組みは、連載の後編(評価ハーネスとCI)の領分で、この記事では扱いません。