メインコンテンツへスキップ
見出し画像

AIの回答が「関連はあるのに間違っている」とき、どの層を疑えば直せるのか~トレースと評価の基礎~

    【発端】 関連はあるのに間違っている回答

    画像
    返品の質問に、返品の話で答える。それでも日数は間違っている。

    最近、@tonycuevaさんのX Article「Evals and Tracing 101」を読みました。AIアプリの品質を測る入門ガイドの前編です。

    靴のオンラインストアのサポートボットを題材に、トレース(処理の記録)と評価(採点)を説明しています。

    「話題は合っているのに、中身が間違っている」回答を診断の例にしている点が面白いです。返品期限の質問に、返品の話はしているのに日数を誤って答えます。

    この種の失敗は、回答が質問に関連しているかを見るだけでは見つかりません。

    この記事では、どの層から間違い始めたかをトレースで特定する方法、ずれをスコアにする方法、失敗をゴールデン(golden。保存した模範例)として回し続ける方法を整理します。

    先に断っておくと、原文は評価フレームワークDeepEvalを開発するConfident AIの社員が書いた、ベンダーの教育コンテンツです。本文の数字は著者自身の実行結果で、第三者が検証したものではありません。

    連載の後編(評価ハーネスとCI)は、別の記事で取り上げています。評価を毎回自動で回す仕組みはこの記事では扱いませんので、続けて読む方はこちらをどうぞ。

    【基礎】 トレースは記録、評価は採点

    画像
    記録の単位はトレースとスパン。採点の単位はテストケース、メトリクス、しきい値。

    トレースは「何が起きたか」を残し、評価は「それは良かったか」を点にする道具です。

    トレースは、1回のリクエストの全記録です。質問から最終回答までを指します。

    その中の1ステップがスパンです。文書の検索、LLMの呼び出し、注文照会ツールが、それぞれ1スパンになります。

    この考え方の出どころは、業界標準のOpenTelemetryです。スパンは親子に入れ子にでき、名前、開始と終了の時刻、属性などを持ちます。

    評価は、AIの出力を採点するテストです。1件の例をテストケース(質問、実際の回答、検索で使った文書など)と呼びます。

    採点のルールがメトリクス(指標)、合格の最低点がしきい値です。しきい値が0.7でスコアが0.6なら、不合格になります。

    採点役には、別のLLMを使うことが多いです。文字列の一致では、回答が役に立つかを判定できないからです。

    この採点役を判定役と呼び、方式の名前はLLM-as-a-judgeです。

    【違い】 テストが通っても動くとは限らない

    画像
    全部緑のテストが、機能の品質を保証しなくなった。

    AIでは「合っているか」の二択ではなく、「どの観点で何点か」を見ます。

    従来のソフトウェアは、同じ入力に同じ出力を返します。テストが通れば、機能は動くと言えました。

    LLMを含むアプリでは、同じ質問でも答えが揺れます。全部緑のテストが、機能の品質を保証しません。

    出力

    • 従来のテスト:毎回同じ

    • LLMを含むアプリ:答えが揺れる

    判定

    • 従来のテスト:完全一致で合否

    • LLMを含むアプリ:スコアとしきい値

    原因の探し方

    • 従来のテスト:同じ入力で再現して探す

    • LLMを含むアプリ:出力が最初におかしくなったスパンを探す

    1つの指標で言えること

    • 従来のテスト:通れば動く

    • LLMを含むアプリ:その観点だけ。関連があっても誤りは残る

    最後の項目が、この記事の出発点です。指標は1つにつき1つのことしか見ません。

    回答の関連度が満点でも、日数が間違っている可能性は消えません。

    【仕組み】 最初に間違えた層を探し、点にして、回す

    画像
    トレースで場所を決め、評価で固定し、ゴールデンで再発を止める。
    画像
    検索側の指標と生成側の指標を、組で読む。

    疑う層をトレースで決め、スコアで固定し、ゴールデンで再発を止めます。

    一手目は、悪い回答のトレースを開き、出力が最初におかしくなったスパンを探すことです。検索が正しい文書を返しているなら、疑う先はその下流に移ります。

    二手目は、層ごとに別の指標を当てることです。RAG(文書を検索してから回答を書く方式)では、検索の質をcontextual relevancy、回答が検索結果に沿っているかをfaithfulnessで測ります。

    両方のスコアを組で読むと、疑う層が絞れます。

    検索の指標が高く、faithfulnessが低い

    • 読み方:検索は役目を果たし、生成側が文脈と食い違う回答を書いた

    • 疑う層:プロンプト、LLM

    両方低い

    • 読み方:先に検索を直す

    • 疑う層:検索

    両方高いのに誤り

    • 読み方:筆者の整理です。faithfulnessは取得した文脈との矛盾を見るので、資料そのものが古いと拾えません

    • 疑う層:知識ベース、または別の指標

    ツール選択の指標が低い

    • 読み方:違うツールを呼んだか、入力が違う。トレースで確認します

    • 疑う層:エージェントのツール選択

    会話の途中で情報が抜ける

    • 読み方:会話全体を1ケースにして測ります

    • 疑う層:会話の記憶

    最初の2つは原文の読み方です。3つ目は、DeepEvalのfaithfulnessの定義から私が整理した補助線にあたります。

    三手目が、失敗を回す輪です。保存した例がゴールデン(golden)、その全体がデータセット(dataset)です。

    プロンプト、モデル、検索を変えるたびに、データセットを全件回します。これをリリース前の評価(オフライン評価)と呼びます。

    以前は通ったのに今回落ちたケースが回帰(regression)です。出荷の判断は、合格率と回帰の数で行います。

    公開後は、同じ指標を本番のトレースに当てます。これがオンライン評価です。

    【具体例】 「40日後の返品」を三手でたどる

    画像
    靴のオンラインストアのサポートボット。実際のポリシーは30日。

    トレースが原因の場所を示し、評価がそれを毎回検出する仕組みに変えます。

    質問は「40日たった靴を返品できますか」です。ボットは「60日以内なら返品できます」と答えました。

    実際の返品ポリシーは30日です。

    トレースを上から読みます。検索のスパンは、30日と書かれたポリシーを返していました。

    LLMのスパンの回答は60日です。その先頭にあるシステムプロンプトに、古い「60日」の一行が残っていました。

    ポリシーが変わったのに、プロンプトは更新されていなかったのです。

    次に評価を当てると、回答の関連度は1.00で合格になります。返品の話をしているからです。

    一方、faithfulnessは0.00で、判定役の理由は検索結果との矛盾でした。検索の関連度は合格で、トレースの結論と一致します。

    古い一行を直し、5件のゴールデンを回すと、合格は2件から4件に増え、回帰は0件でした。遅延注文の回答も、同じ古い行の影響で誤っていたため、同時に直っています。

    注意点があります。これは著者自身の、5件という小さな実行結果です。

    手法が効く証拠としてではなく、診断の流れの見本として読むのが安全です。

    【関連概念】 指標と判定役を疑う視点

    画像
    スコアは事実そのものではなく、ある測り方の結果。

    スコアは事実そのものではないので、測り方を疑う視点が要ります。

    • 指標が見ているもの:contextual relevancyは、取得した文書のうち質問に関係する文の割合です。正しい文書が混ざっていても、ノイズが多ければ点が下がります。

    • RAGの分け方:RAG評価のガイドは、検索側と生成側の指標を分けて見る考え方を示しています。学術側では、正解ラベルなしで複数の観点を測るRagasが基礎になっています。

    • 判定役の癖:LLMに採点させる方法は、MT-Benchの論文で、位置、冗長さ、自己びいきの偏りが指摘されています。G-Evalは、評価基準を文章で書いてLLMに採点させる枠組みです。

    • 悪い例での確認:原文は、既知の悪い回答で指標を回し、高得点が出たら、しきい値や基準を直すよう勧めています。

    参考情報・参考書籍(PR)

    本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。

    『大規模言語モデル入門』(山田育矢監修、鈴木正敏、山田康輔、李凌寒、技術評論社)は、書名のとおり大規模言語モデルの入門書で、この記事が疑う回答生成の前提を補います。

    『機械学習システムデザイン ―実運用レベルのアプリケーションを実現する継続的反復プロセス』(Chip Huyen著、江川崇、平山順一訳)

    関連記事

    【まとめ】 自分のアプリで試す順番

    点数より先に、悪い回答を20件読むところから始めます。

    1. 悪い回答のトレースを20件読み、最初に出力がおかしくなったスパンを書き出します。

    2. 失敗の種類ごとに、検索、プロンプト、ツール、会話のどの層かを分けます。

    3. 層に合う指標を選び、既知の悪い回答で高得点が出ないかを確かめます。

    4. 実際の失敗をゴールデンにして、5件ほどのデータセットを作ります。

    5. 変更の前後で合格率と回帰の数を比べます。

    評価を毎回自動で回す仕組みは、連載の後編(評価ハーネスとCI)の領分で、この記事では扱いません。

    参考情報

     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ