PoCでは通ったのに、現場で信用を失うとき

デモや PoC では通ったのに、現場に出した途端に信用が落ちる——そのとき、何を疑うか。以前、「RAG｜「どう作るか」より先に、答えを疑う型を持つ」と「RAG｜社内PDFを全部入れれば安心、ではない」では、社内文書チャット（いわゆる RAG）の疑う側・入れる側を書きました。今回はその先ですが、話の芯は RAG に限りません。

自分は RAG の PoC を現場で回した当事者ではありません。それでもこの話を書くのは、合否の物差しがないまま本番にすると、信用が溶ける、という型を、MI やツール導入の側では繰り返し見てきたからです。RAG の整理でも、同じ場所が「評価セットがないまま本番にした」と出てきます。プロンプトや画面をいじる前に、物差しがあるかを疑った方がよい——それが本稿のメッセージです。

デモは、都合のよい問いだけで通る

PoC の画面はきれいです。用意した質問に、出典つきで答えが返る。会議では「使える」になる。

ただ、その問いが、現場が本当に打つ問いと同じとは限りません。デモ用に整えた質問、答えやすい文書、うまく出る型番。本番では、言い回しが揺れる。部署ごとの呼び方が違う。表の読み方や版の前提も違う。デモで当たらなかった問いが、現場では毎日来る。

MI の PoC でも近いことが起きます。用意したデータと、うまく出る指標だけで「精度が出た」になる。現場に渡すと、次の実験に使えない、目的と違う、という声が出る。モデルが急に悪くなったのではなく、測っていなかった問いが表に出た、という方が近いです。

物差しがないと、信用の置き場がない

信用が落ちる場面の型は、だいたい次です。

ある人が「この答えは違う」と言う。別の人は「さっきは合っていた」と言う。直す側はプロンプトをいじる。チャンクを変える。モデルを替える。一時的によく見えることもある。でも、何をもって良くなったのかが共有されない。次の週には、また別の問いではずれる。

信用が落ちるのは、精度の数字が足りないからだけではありません。合否の物差しが共有されていないからです。RAG では、現場の問いと、当たるべき文書（または該当箇所）を並べた一覧——いわゆる評価セット——が、その物差しになります。むずかしいベンチマークである必要はない。たとえば問いが「2024年版の規格値は何か」なら、正解は「○○規格 PDF の第3章、この表のこの行」という粒度で十分です。

物差しがないと、「いまのバージョンは前よりマシか」を同じ土俵で話せません。感覚だけの本番化は、Shelfware と同じく、使われなくなる道に近いです。自分の仕事でも、成功の定義や次の実験に使えるかを先に揃えずに画面や精度だけを出すと、同じ崩れ方をします。

数十件あれば、スタートには十分です。それがあるだけで、前回までで書いた「出典を疑う型」も「入れる側の壊れ」も、定点で見られます。検索がずれているのか、生成が足しているのかも、ここで切り分けやすくなります。Ragas のような枠組みの名前は、後からでよいです。先に効くのは、現場の問いと正解文書のペアを持っているかどうか、です。

定着の手前に置くもの

だから、PoC が通ったあとに確認したいのは、「もっと賢いモデルか」より先に、次です。

• 現場の問いを、何件か集めているか

• それぞれの正解（文書の該当箇所、あるいは「次の実験に使えるか」）を言えるか

• 出したあとも、同じ物差しで当たる／外れるを見続けられるか

前回までで書いた「疑う型」と「入れる形」は、この物差しがあると生きます。物差しがないと、疑う場所が人によって変わり、直す場所も散らばります。デモでは良いが現場で信用されないとき、プロンプトより先に評価セット（＝合否の物差し）を疑う。それがなければ、疑う場所はいつまでも人によって違う。RAG に限らず、定着の手前で先に効くのはそこです。

あわせて読む：

データ活用やマテリアルズインフォマティクスの実務については、「データ活用の実務」マガジンにまとめています。