メインコンテンツへスキップ
見出し画像

RAGは、ベクトル検索から作り始めるものなのか~キーワード検索から積み上げる本番RAGの7週間~

    最近、jamwithaiのGitHubリポジトリ production-agentic-rag-courseを読みました。arXivの論文を集めて質問に答える研究アシスタントを、7週で段階的に作るコースです。

    機能の多さより、作る順番が面白いです。ベクトル検索から始めず、キーワード検索のBM25を先に作り、あとから埋め込みとRRFを足してハイブリッドにします。

    この記事では、その順番の理由、Agentic RAGの現行コードの流れ、デモと本番の差を整理します。コースの手順やコマンドは扱いません。

    【発端】 ベクトル検索に飛ばないコースの順番

    画像
    arXivの論文に答える研究アシスタントを、7週で段階的に作るコースの流れ

    このコースは「検索の土台を先に作る」ことを設計の主張にしています。

    7週の流れは、基盤、取り込み、BM25、チャンク分割とハイブリッド検索、ローカルLLMでの回答、追跡とキャッシュ、エージェントです。READMEは、ベクトル検索にいきなり飛ぶチュートリアルと違い、キーワード検索の土台を先に作ると明記しています。

    リポジトリは2025年8月に作られ、取得した2026年10月23日時点でスターは約9,900でした。数字は注目度の目安にとどまり、設計の良し悪しの証拠にはなりません。

    【基礎】 語の一致と意味の近さ、別々の得意分野

    画像
    キーワード検索とベクトル検索を、観点ごとに比べる

    検索には「同じ語を探す」方式と「近い意味を探す」方式があり、失敗の仕方が逆です。

    RAGは、質問に関係する文書を先に検索し、その結果をLLMに渡して回答させる仕組みです(RAG(検索拡張生成)とは何ですか?(AWS))。

    回答の質は、最初の検索で正しい文書を拾えるかに左右されます。

    BM25は、語の出現頻度、語の珍しさ、文書の長さから関連度を計算する古典的な手法です(The Probabilistic Relevance Framework: BM25 and Beyond(Robertson, Zaragoza))。ベクトル検索は、文章を埋め込みという数値の列に変換し、質問と近い文書を探します。

    得意

    • BM25:型番・略語・論文ID

    • ベクトル:言い換え・自然文

    苦手

    • BM25:同義語・言い換え

    • ベクトル:正確な識別子

    説明

    • BM25:一致語を追える

    • ベクトル:近さの理由

    追加

    • BM25:索引のみ

    • ベクトル:埋め込みと索引

    得意と苦手の対比は、4 OpenSearch Hybrid Search Technique, Tutorial, and Best Practicesにもあります。コースはWeek 3で、AI、ML、NN、CVのような二文字の略語での検索も試しています。

    【違い】 後から足した効果を比べられる構成

    画像
    ベクトルから始める道と、BM25から始めてあとから足す道の違い

    BM25を土台にすると、ベクトルやRRFを足した差を、同じ索引の上で確かめられます。

    最初に動く

    • ベクトル先行:埋め込みとチャンク

    • BM25先行:索引とキーワード

    失敗時

    • ベクトル先行:検索が止まる

    • BM25先行:BM25へ戻せる

    比較

    • ベクトル先行:基準が無い

    • BM25先行:3モードを並べる

    表の左列は私の整理です。右列は、Week 4のREADMEが1つの索引で3つの検索モードを切り替えられると書いていること、ベクトル検索が失敗したときにBM25へ戻す設計にしていることに基づきます。

    同じREADMEの性能表では、BM25は約52ms、ベクトルは約105ms、ハイブリッドは約2.4秒で、Recall@10は0.78、0.82、0.89です。

    ただし条件は論文3本、チャンク81個の小さな環境で、コース側の自己申告です。傾向を見る目安として読むのが妥当です。

    【仕組み】 順位を足すRRFと、検索の前後に挟む三つの判断

    画像
    BM25とベクトルの順位を足して、統合順位にする
    画像
    架空の計算例(k = 60)。片方にだけ1位で出る文書と、両方で上位の文書を比べるRRFは点数ではなく順位を合算し、Agentic RAGは検索の前後に判断を挟みます。

    RRFが足すもの

    BM25の点数と、ベクトル検索の類似度は、尺度が違います。RRF(Reciprocal Rank Fusion)は点数を捨て、各検索結果での順位だけを使います(Reciprocal Rank Fusion outperforms Condorcet and individual rank learning methods)。

    文書の得点は、各一覧での「1 ÷ (60 + 順位)」の合計です。60は論文が定めた定数で、Introducing reciprocal rank fusion for hybrid search(OpenSearch)の既定値も同じです。

    架空の計算例では、文書XはBM25で1位、ベクトルでは圏外で、得点は1/61 ≒ 0.0164です。文書YはBM25で3位、ベクトルで2位で、1/63 + 1/62 ≒ 0.0320です。

    片方だけで1位のXより、両方で上位のYが上に来ます。

    なおOpenSearchは2.19からRRFを検索パイプラインで提供しています。コースのREADMEは、2.19との互換のためにアプリ側で自前の合算処理を使うと書いています。

    検索するかを誰が決めるか

    従来のRAGは、質問のたびに必ず検索します。Agentic RAGは、検索するか、結果を使うか、質問を直すかを、LLMの判断で分岐させます。

    Build a custom RAG agent with LangGraphも、検索ツールを使うかをモデルに決めさせ、取得文書を採点し、不合格なら質問を書き換える流れを示しています。

    現行コードは次の流れです。まずguardrailが範囲外の質問を判定し、範囲外なら終了します。

    範囲内なら検索し、取得文書を採点して、合格なら回答します。不合格なら質問を書き換えて再検索し、その上限は2回です。

    【具体例】 曖昧な質問が書き換えられて戻る道筋

    画像
    READMEの想定シナリオ(「Tell me about ML stuff」)を、現行コードの分岐に当てはめた図。実行して確かめた結果ではない
    画像
    この記事はコードを正とする。READMEの速度の数字は、4ノード図を前提にした自己申告

    検索が外れたときに、同じ質問を繰り返さずに言い直して探し直すのが、このコードの狙いです。

    Week 7のREADMEに、「Tell me about ML stuff」のような曖昧な質問の想定シナリオがあります。検索しても関連度が低いと採点され、質問を書き換えて再検索し、回答に進む流れです。

    私はこのコースを実行しておらず、READMEの想定を読んだだけです。

    READMEの図と現行コードには食い違いがあります。図は4ノードで、簡単な質問には検索せず直接答える分岐を含みます。

    現行コード(agenticrag.py)はguardrail、retrieve、toolretrieve、gradedocuments、rewritequery、generateanswer、outof_scopeの7ノードです。この記事はコードを正としています。

    コードにも、retrieveの後にツール呼び出しが無ければ終了する分岐は残っています。ただ、実際にどれだけ検索せず終わるかは、確認できていません。

    「簡単な質問は2〜5秒、従来は15〜20秒」というREADMEの数字は、4ノード図を前提にした自己申告で、測定条件の記載もありません。

    【関連概念】 デモを本番に近づける三つの部品

    画像
    三つの部品は、それぞれ別のものを守る

    取り込み、追跡、キャッシュはそれぞれ別のものを守ります。

    Airflow

    • 守るもの:検索対象の鮮度

    • コースでの扱い:日次で取得し索引更新

    • 先に疑う点:失敗日の抜け

    Langfuse

    • 守るもの:原因の追跡

    • コースでの扱い:検索と生成の段階

    • 先に疑う点:検索か採点か

    Redis

    • 守るもの:遅延と費用

    • コースでの扱い:同一質問を24時間保持

    • 先に疑う点:言い換えに効くか

    DAGs(Apache Airflow)は、タスクと依存関係をDAGとして定義し、スケジュール実行します。LLM Observability & Application Tracing(Langfuse)は、LLM呼び出しや検索の各ステップを、入出力と所要時間つきで記録します。

    コースのキャッシュは、パラメータを含む完全一致で動きます。言い換えた質問には効かないため、Redis semantic cache(意味的キャッシュ)が発展形として挙がります。

    「繰り返しで150〜400倍速い」という数字も自己申告です。

    取得文書を評価してから使う発想は、Corrective Retrieval Augmented Generation(CRAG)にもあります。エージェントのループや評価の一般論は、別の機会に譲ります。

    参考情報・参考書籍(PR)

    本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。

    真鍋知博『ベクトル検索実践入門』(技術評論社)は、キーワード検索を補うベクトル検索の実装と、検索結果の評価までを扱います。埋め込みや結果の見方を、この記事のベクトル検索側から読みたいときに向きます。

    打田智子、古澤智裕、大谷純、加藤遼、鈴木翔吾、河野晋策『検索システム 実務者のための開発改善ガイドブック』(ラムダノート)は、全文検索エンジンを使った検索システムの構築と改善を扱います。BM25を土台にする考え方と、検索の良し悪しの測り方を読むときに向きます。

    【まとめ】 自分の質問20個で見る三方式の差

    画像
    順番の理由は、自分のデータで測ってはじめて自分のものになる

    順番の理由は、自分のデータで測ってはじめて自分のものになります。

    1. 社内文書や技術ドキュメントから、型番や略語を含む質問を10個、言い換えの質問を10個用意します。

    2. 各質問の正解文書を決めます。

    3. BM25だけ、ベクトルだけ、RRFで合算した場合の上位5件に、正解が入った回数を数えます。

    質問の種類ごとに方式の差が出れば、この順番の理由を自分のデータで確かめられます。差が出ないなら、足す部品を減らす判断材料になります。

    参考情報

     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ