メインコンテンツへスキップ
見出し画像

RAGの回答を「分からない」で止める:根拠不足の判定をPythonで実装する

    社内文書のRAGを作ると、資料に書かれていないことまで、もっともらしく答えてしまう場面に出会います。プロンプトで「分からなければ分からないと答えて」と書いても、完全には止まりません。

    結論から言うと、回答を控える判断はLLMの良心に任せず、アプリケーション側のコードで行うのが確実です。本記事では「検索スコアと件数の関門」「根拠チェック」「評価用質問での閾値調整」の3段構えを、PythonとFastAPIで実装します。

    なぜRAGは根拠がなくても答えてしまうのか

    原因は主に3つあります。

    • ベクトル検索は、どんなに無関係な質問でも必ず上位の数件を返す。「該当なし」という結果が仕組み上ない。
    • LLMに渡した文脈が的外れでも、モデルは文脈と自分の知識を混ぜて、それらしい文章を作れる。
    • プロンプトの指示は確率的に効くだけで、保証ではない。

    つまり「検索結果が返ってきた」ことは「根拠がある」ことを意味しません。この差を埋めるのが、生成の前後に置く判定です。

    判定の3段構え:検索スコア・件数・根拠チェック

    第1段:検索スコアと件数(生成前)

    最上位チャンクのスコアが低ければ、そもそも関連文書がありません。また、スコアが高いチャンクが1件だけの場合、たまたま語彙が似ただけの可能性があります。そこで次の2条件を見ます。

    • 最上位スコアが top_score_min 以上であること
    • hit_score_min 以上のチャンクが min_hits 件以上あること

    この段階は、LLMを呼ぶ前に落とせるため、コストも速度も有利です。

    第2段:根拠チェック(生成後)

    スコアが高くても、質問の答えがその文書に書かれているとは限ります。そこで、LLMに「答えられるか」「根拠となる原文の引用」をJSONで返させます。次に、引用が本当に検索結果の中に存在するかをコードで照合します。存在しない引用があれば、回答を破棄します。

    第3段:評価用の質問セットで閾値を決める

    閾値はモデルや埋め込みの種類、文書の性質で変わります。他所の値を流用せず、自分のデータで決める必要があります。これは後の章で扱います。

    Pythonでの実装例(FastAPIで検索結果を判定する)

    まず、第1段の判定です。スコアは「大きいほど類似」(コサイン類似度)とします。距離を返す検索基盤なら、変換してから渡してください。

    from dataclasses import dataclass
    
    
    @dataclass(frozen=True)
    class Chunk:
        id: str
        source: str
        text: str
        score: float  # コサイン類似度。大きいほど近い
    
    
    @dataclass(frozen=True)
    class Policy:
        # 以下は仮の初期値です。評価セットで必ず調整します
        top_score_min: float = 0.55
        hit_score_min: float = 0.45
        min_hits: int = 2
    
    
    def retrieval_gate(chunks: list[Chunk], policy: Policy) -> tuple[bool, str]:
        """生成前の判定。(通過したか, 理由コード) を返す。"""
        if not chunks:
            return False, "no_chunks"
        top = max(c.score for c in chunks)
        if top < policy.top_score_min:
            return False, "low_top_score"
        hits = [c for c in chunks if c.score >= policy.hit_score_min]
        if len(hits) < policy.min_hits:
            return False, "few_hits"
        return True, "ok"

    理由コードを返すのが要点です。後でログを集計し、どの関門で断ったかを分析できます。

    次に、第2段の根拠チェックです。引用の照合は、全角半角や空白の揺れを正規化してから行います。

    import json
    import re
    import unicodedata
    
    from openai import OpenAI
    
    from gate import Chunk
    
    client = OpenAI()  # APIキーは環境変数から読み込まれます
    
    SYSTEM = """あなたは社内文書の回答担当です。
    与えられた【文脈】だけを根拠に答えてください。
    文脈に答えが無い場合は answerable を false にしてください。
    必ず次のJSONだけを返してください。
    {"answerable": bool, "answer": str, "quotes": [str]}
    quotes には、答えの根拠となる文脈の原文を、一字一句そのまま抜き出して入れてください。"""
    
    
    def norm(s: str) -> str:
        return re.sub(r"\s+", "", unicodedata.normalize("NFKC", s))
    
    
    def build_context(chunks: list[Chunk]) -> str:
        return "\n\n".join(f"[{c.id}] {c.text}" for c in chunks)
    
    
    def generate(question: str, chunks: list[Chunk], model: str) -> dict:
        res = client.chat.completions.create(
            model=model,
            temperature=0,
            response_format={"type": "json_object"},
            messages=[
                {"role": "system", "content": SYSTEM},
                {
                    "role": "user",
                    "content": f"【文脈】\n{build_context(chunks)}\n\n【質問】\n{question}",
                },
            ],
        )
        return json.loads(res.choices[0].message.content)
    
    
    def quotes_are_grounded(quotes: list[str], chunks: list[Chunk]) -> bool:
        if not quotes:
            return False
        corpus = norm("".join(c.text for c in chunks))
        return all(norm(q) and norm(q) in corpus for q in quotes)

    LLMに「一字一句そのまま」と指示しても、微妙に言い換える場合があります。その場合は断る側に倒れます。これは安全側の失敗なので、後述する誤拒否率で観測します。

    最後に、FastAPIでつなぎます。search は自分の検索基盤に差し替えるスタブです。

    import logging
    import os
    
    from fastapi import FastAPI
    from pydantic import BaseModel
    
    from gate import Chunk, Policy, retrieval_gate
    from grounding import generate, quotes_are_grounded
    
    app = FastAPI()
    policy = Policy()
    MODEL = os.environ["ANSWER_MODEL"]
    REFUSAL = "ご質問に答えられる根拠が、登録された文書から見つかりませんでした。"
    log = logging.getLogger("rag")
    
    
    def search(question: str, k: int = 5) -> list[Chunk]:
        raise NotImplementedError  # ベクトル検索に差し替える
    
    
    class Ask(BaseModel):
        question: str
    
    
    @app.post("/ask")
    def ask(body: Ask):
        chunks = search(body.question)
        top = max((c.score for c in chunks), default=0.0)
    
        passed, reason = retrieval_gate(chunks, policy)
        if not passed:
            log.info("refuse reason=%s top=%.3f q=%s", reason, top, body.question)
            return {"answer": REFUSAL, "sources": [], "refused": True}
    
        out = generate(body.question, chunks, MODEL)
        if not out.get("answerable") or not quotes_are_grounded(
            out.get("quotes", []), chunks
        ):
            log.info("refuse reason=ungrounded top=%.3f q=%s", top, body.question)
            return {"answer": REFUSAL, "sources": [], "refused": True}
    
        sources = sorted({c.source for c in chunks})
        log.info("answer top=%.3f q=%s", top, body.question)
        return {"answer": out["answer"], "sources": sources, "refused": False}

    ログに質問文をそのまま残す場合は、個人情報や機密の扱いを事前に決めてください。

    閾値は評価用の質問セットで決める

    初期値のまま本番に出すのは避けます。次の2種類の質問を用意します。

    • 答えられる質問:文書に答えがある。期待する参照元も付けておく
    • 答えてはいけない質問:文書に答えが無い。関連語は含むが答えは無い質問を多めにする

    後者は「近いのに答えが無い」質問が最も大切です。たとえば社内規程の検索なら、「出張時の宿泊費上限」は載っているのに「海外赴任時の住居手当」は載っていない、という具合の質問です。無関係な質問は第1段で簡単に落ちるので、閾値の調整には役に立ちません。

    検索結果を質問ごとに保存しておけば、閾値の探索はLLMを呼ばずに回せます。

    import itertools
    
    from gate import Chunk, Policy, retrieval_gate
    
    
    def evaluate(rows: list[dict], policy: Policy) -> tuple[float, float]:
        """rows: {"answerable": bool, "chunks": list[Chunk]}
        戻り値は (誤拒否率, 誤回答率)。"""
        n_ok = n_ng = false_refuse = false_answer = 0
        for r in rows:
            passed, _ = retrieval_gate(r["chunks"], policy)
            if r["answerable"]:
                n_ok += 1
                false_refuse += not passed
            else:
                n_ng += 1
                false_answer += passed
        return false_refuse / max(n_ok, 1), false_answer / max(n_ng, 1)
    
    
    def grid(rows, max_false_answer=0.05):
        best = None
        for top, hit, hits in itertools.product(
            [x / 100 for x in range(40, 80, 5)],
            [x / 100 for x in range(30, 70, 5)],
            [1, 2, 3],
        ):
            p = Policy(top, hit, hits)
            fr, fa = evaluate(rows, p)
            if fa <= max_false_answer and (best is None or fr < best[0]):
                best = (fr, fa, p)
        return best

    誤回答率の上限を先に決め、その条件で誤拒否率が最小になる組み合わせを選ぶ設計です。上限の値(ここでは例として0.05)は、業務の重さで決めてください。

    トレードオフ

    閾値を上げると、誤回答は減りますが、誤拒否が増えます。両者はゼロにできません。社内ヘルプデスクの一次回答なら、少し緩めて参照元で確認させる運用が成立します。規程や契約を扱う用途では、厳しめにして「担当者へ確認」の導線を置く方が安全です。

    質問セットが少ないと、閾値は過学習します。調整用と検証用に分けて、検証用では閾値を動かさずに確認してください。

    失敗パターンと本番での運用

    誤って断る

    • 質問が短すぎて、スコアが全体的に低くなる
    • 答えが複数文書に分散していて、min_hits を満たしても根拠の引用が揃わない
    • 表やPDF抽出の崩れで、原文の引用が照合に失敗する

    対策は、断った質問と理由コードを集計することです。few_hits が多ければチャンク分割や検索件数を見直します。ungrounded が多ければ、テキスト抽出の品質か、引用の正規化を疑います。

    誤って答える

    • 古い版と新しい版の文書が混在していて、古い内容で答える
    • 質問と同じ語を含むだけの別の話題の文書で、スコアが高くなる
    • 引用は正しいが、質問の条件(対象部署や期間)を取り違えている

    最後のパターンは、文字列照合では防げません。権限や版管理はメタデータでの絞り込みで対応し、重要な回答は参照元の確認を前提にします。誤回答の報告を受けたら、その質問を「答えてはいけない質問」へ加えるのが基本です。

    参照元表示とログで改善を回し続ける

    回答を控える仕組みは、一度作って終わりではありません。私が関わったRAG文書解析システムの開発(中堅企業向け)でも、回答に参照元を表示し、情報が足りないときは回答を控える設計にしました。そのうえで、評価用の質問データを使って検索精度と回答品質の改善を繰り返しました。マルチテナントのAI業務基盤の開発でも、参照元表示とログ管理、評価用データセットでの品質検証を整備しています。

    運用では、次の流れを回します。

    • 参照元をすべての回答に表示し、利用者が原文を確認できるようにする
    • 質問、最上位スコア、判定理由、参照元IDをログに残す
    • 週次などで、断った質問と「役に立たなかった」報告を確認する
    • 見つかった失敗を評価セットに追加し、閾値を再計算する
    • 文書やモデルを変えたときは、必ず評価セットで回帰を確認する

    まとめ

    • RAGは、検索が必ず何かを返すため、根拠がなくても答えられてしまう。
    • 判定は、検索スコアと件数、根拠の引用照合の二重で、コード側に持たせる。
    • 閾値は、答えられる質問と答えてはいけない質問の評価セットで決める。
    • 誤拒否と誤回答はトレードオフなので、業務の重さで許容度を先に決める。
    • 理由コード付きのログと参照元表示で、失敗を評価セットへ戻し続ける。

    私は「AIチャットボット・社内文書検索(RAG)」をお仕事としてお受けしています。回答を控える判定や評価セットの設計は、社内文書RAGを安心して使える品質にするための中心的な作業です。 → AIチャットボット・社内文書検索(RAG)について / ランサーズで相談する

     
     

    Takumi

     
     
    AI・Webシステム開発のフリーランスエンジニア(開発歴11年)。ChatGPT・生成AI/RAGの業務アプリ、WordPress、業務システム、セキュリティ診断を担当しています。ランサーズ認定ランサー。実案件で得た知見を書いています。https://shanaiai.com

    あなたへのおすすめ