メインコンテンツへスキップ
見出し画像

プロジェクトエディターエージェントを作ろう! vol.4 〜チャンキング戦略〜

    前回

    前回はナレッジを格納する方法として階層的チャンキングを紹介しました。
    今回は複数あるチャンキング方法からどの方法を選定するか考えてみました。

    チャンキングの手法としては、標準のチャンキング、階層的チャンキング、セマンティックチャンキングなどがあります。

    • 標準のチャンキング:固定長でチャンクを分ける。

    • 階層的チャンキング:親子でチャンクを分ける。検索対象は子チャンク、コンテキストを提供するため親チャンクを参照する。

    • セマンティックチャンキング:意味のあるまとまりでチャンクを分ける。チャンクの切れ目はベクトル化し差異がみられるところで分ける。

    文書特性によってチャンクングを選択することには意義があります。プロジェクトにおいてはさまざまなデータソースがあり、長文ドキュメントもあればチャット履歴などもあり傾向が分かれます。

    今回、データソースに応じてチャンキング方法を設定するために、データソースのサンプルからチャンキングを判定するClaudeスキルを作成しました。

    ---
    name: judge-chunking
    description: データソース別に最適なチャンキング戦略 (hierarchical / standard / semantic) を判定し、data/project.yaml への反映案を提示する
    ---
    
    # judge-chunking
    
    `data/collected/<source>/` の実サンプルを分析し、以下 3 種のうち最適なチャンキング戦略を推奨する:
    
    - **hierarchical**: Markdown 見出しで区切れる構造化された中〜長文。既存の 3 階層(root/section/leaf)チャンキング
    - **standard**: 短文フラットなメッセージ列。`RecursiveCharacterTextSplitter` のみで固定長分割
    - **semantic**: 見出しなしの長文。sentence embedding の類似度境界で意味的に分割
    ...
    ## 判定ルール
    
    スクリプト `scripts/judge_chunking.py` は以下の順で評価する:
    
    1. `markdown_heading_rate > 0.02` かつ `avg_item_length ≥ 500` → **hierarchical**
    2. `markdown_heading_rate < 0.005` かつ `avg_item_length ≥ 800` → **semantic**
    3. `avg_item_length < 300` → **standard**
    4. 上記いずれにも当てはまらず → **hierarchical**(安全側)
    ...

    judge-chunkingスキルでサンプルからチャンキング方法を提案してもらいます。下記が判定結果です。

    画像
    チャンキング判定結果

    データソースが少なく偏りがあるので全て階層的チャンキング(hierarchical)となりました。データソースが加わる度にチャンキングを設定するのには使えそうです。

    今回はチャンキングの選定としてのチャンキング戦略とスキルを利用した判定方法を紹介しました。以前、紹介したグラフナレッジとの組み合わせ方を再考すると効果的に利用できるかもしれません。

    次の記事


    この記事が参加している募集

     
     

    Dyson

     
     
    通信系企業で働くシステムエンジニア 生成AIなどを使ってプ譜の価値探究にチャレンジする自称プ譜デベロッパー プロジェクトマネジメント / 構造主義 / Web開発 / AWS

    あなたへのおすすめ