RAG｜社内PDFを全部入れれば安心、ではない

以前、「RAG｜「どう作るか」より先に、答えを疑う型を持つ」では、出典を開いて突き合わせる側の話を書きました。末尾で、「文書の形をどう整えるかは、また続きます」と予告したのが今回です。

現場でよく聞く期待があります。社内の規程や実験ノート、仕様書のPDFを全部入れれば安心だ、というものです。入れる量が多いほど、なおさらそう見える。この話を聞くたびに同じ説明をしているので、ここに残します。自分が見てきた失敗の多くは、モデルより、入れたあとの形の壊れから起きています。全部入れたことと、探して使えることは別です。紙やスキャンなら文字に起こし、塊に切り、そのあとで意味の近さ用の数字の列にする——壊れる場所は、いちばん手前の「読めたか」に寄ります。

表は、入れた瞬間に崩れやすい

材料や製造の文書は、本文より表に答えがあることが多いです。組成、条件、規格値、合否の閾値。人が見るときは行と列で読めます。

RAGに入れると、表が一次元の文字列に平坦化され、行と列の関係が崩れることがあります。項目名と数値がずれる。単位が隣のセルとくっつく。ここでの「崩れ」は、あとで数字の列にする工程ではなく、取り出すときの話です。結合セルやスキャン、OCRの誤読だと、さらに崩れやすい。あとから「この表の値は？」と聞いても、壊れた文脈から、もっともらしい数字が組み立てられます。

ここで自分が疑うのは、プロンプトより先に、人が開いたときと同じように読める形で入っているか、です。表が壊れたまま全部入れると、出典リンクが付いていても、突き合わせた瞬間に本文と答えが食い違います。前回の「疑う型」が、まさにここで効きます。読めたかの確認は、仕組みより人の目が先に要ることが多い、とも感じています。

原則と例外が、別々に切れる

規程や手順書では、原則のあとに例外や適用除外が続きます。人が読むときは、同じ文書の続きとして頭に残ります。

分割の仕方によっては、原則だけが一つの塊になり、例外が別の塊になります。例外だけだと意味が薄いので、検索に拾われにくい。結果として、原則だけが答えに乗る。現場では事故になります。

チャンクという言葉を知らなくても、起きていることは単純です。切れた境界が、意味の境界と一致していない。全部入れたつもりでも、答えに乗るのは切れたあとの断片です。

型番やCASは、意味検索だけでは落ちる

もうひとつ、製造業で痛いのが識別子です。型番、品番、CAS登録番号。一字違うと別物です。

いわゆる意味の近さで探す検索は、文章の似た話題には強い。塊にしたあとで数字の列に直し、「近い」ものを拾うやり方です。一方で、意味を持たない英数字の羅列の完全一致は苦手なことが多い。似た型番の仕様書が上位に来たり、目的の文書がまったく出なかったりする。材料現場だと、隣接する別グレードの仕様が返り、組成や合否基準を取り違える、という事故につながりやすい。AIが弱い、というより、探し方の向きが違う、という話に近いです。

現場の問いの半分近くが「この番号の文書を出して」なら、全部入れただけでは足りない。番号で当たる経路があるか、を先に疑った方がよい、と感じています。

古い版が、いちばんそれらしい顔をして残る

全部入れると、更新前の規程も、別部署の同名プロジェクトも、同じ棚に並びます。新しい方が正しいとは限らない現場もあるので、一概に削除すればよい話でもありません。

ただ、タグや日付、対象範囲がないまま入れると、検索は「それらしい古い版」を平気で返します。人がフォルダを漁るときは、ファイル名や置き場所で版を勘で切っています。RAGはその勘を引き継がない。入れた量が多くなるほど、版の混線は増えます。

ELNやExcelの話で書いてきたことと同じ根です。ゴミを入れると、もっともらしいゴミが出る。量を増やせば増やすほど、整備していない歪みも一緒に増えます。

入れる前に見る場所

だから、「社内PDFを全部入れれば安心」には、自分は乗れません。安心なのは入れ終わった気持ちの方で、使える検索になるかは別です。表が読めるか、原則と例外が切れないか、番号で当たるか、版が混ざらないか——入れる前と入れ方の側に残ります。結局、チャット画面やモデルより、手前で文書を正しく読める形にしているかどうかが効く、というのが自分の実感です。

前回は、出た答えを疑う型を書きました。今回は、疑わねばならない答えが生まれやすい場所を、入れる側から見ています。どちらも、最新モデルの話より手前です。文書の形を整えることは、RAGの応用というより、データを使える形にする仕事の延長だと思っています。

あわせて読む：RAG｜「どう作るか」より先に、答えを疑う型を持つ

データ活用やマテリアルズインフォマティクスの実務については、「データ活用の実務」マガジンにまとめています。