メインコンテンツへスキップ
見出し画像

プロジェクトエディターエージェントを作ろう! vol.3 〜階層的チャンキング〜

    前回

    前回はステークホルダーの一覧管理と名寄せについて紹介しました。今回は収集した情報を階層的チャンキングで扱う話です。

    階層的チャンキングとは?

    階層的チャンキングでは、情報を子チャンクと親チャンクというネスト構造で整理します。…
    小さなテキスト埋め込みの方が精度は高くなりますが、検索の目的は包括的なコンテキストを提供することです。

    ナレッジベースのコンテンツのチャンキングの仕組み

    議事録やチャットなど子チャンクとして細かい単位で検索しつつ、親チャンクで全体の流れをLLMに渡すイメージになります。

    チャンク作成ではLangChainのlangchain-text-splittersを使用します。検索時にはチャンク検索し、グラフの情報も取得するようにします。


    画像
    階層的チャンキングと検索

    検索結果ではRetrivealResultとして チャンク(chunks)、グラフの要素(entities)、関係(relations)を返却します。

    プロジェクトエディターエージェントでの検索においてきっかけとなる情報のヒット率を上げつつ、背景情報含めた情報をいかに取得、編集することがポイントになるのではないかと思います。
    標準的なチャンキングだけでなく階層的チャンキングも必要になるのではないかと思います。また階層だけでなくセマンティックなども考慮する必要があり、チャンキング戦略がより重要になる領域ではないでしょうか。

    次回


     
     

    Dyson

     
     
    通信系企業で働くシステムエンジニア 生成AIなどを使ってプ譜の価値探究にチャレンジする自称プ譜デベロッパー プロジェクトマネジメント / 構造主義 / Web開発 / AWS

    あなたへのおすすめ