🙆♀️
【第2回】「DifyでRAGを試したら失敗した話|うまくいかない原因はこれ」
はじめに
この記事は「現場で使えるAIエージェント実践ガイド」の第2回です。
| 回 | テーマ |
|---|---|
| 第1回 | 第1回】AIエージェントツール比較2026|Dify・n8n・CrewAIを実務目線で選ぶ✅ 公開済み |
| 第2回 | DifyでPoCを試して分かった「うまくいかない理由」← 今回 |
| 第3回 | AIエージェントとは何か?ChatGPTとの違いを5分で理解する |
| 第4回〜 | 順次公開予定 |
AIエージェントを使えば、社内ナレッジを活用したチャットボットが簡単に作れる。
そう思ってPoC(概念実証)を実施しました。
結論から言うと👇
「それっぽいものは作れるが、実務で使える精度にはならなかった」
この記事では、その理由をリアルな体験ベースで共有します。
やろうとしたこと
やりたかったのはシンプルです👇
- 社内のナレッジを検索できる
- チャット形式で回答できる
- 過去の知見を活用できる
そのために Dify を使って検証しました。
構成(図解)
今回使ったデータ
PoCで使ったのは👇
👉 PPTにまとめられた「Lesson & Learn」資料
- 過去プロジェクトの振り返り
- ノウハウの蓄積
- テキストベースの情報
👉 よくある"ナレッジ資産"です
実際にやったこと
かなりシンプルに👇
- PPTをそのままテキスト化
- RAGとして取り込み
- チャットボット化
👉 「構造化せず、そのまま使った」
結果(うまくいかなかった)
結論👇
意図した回答がほとんど返ってこない
何が起きたか(図解)
「それっぽいがズレた回答」になる
原因①:チャンク化が不十分
RAGの精度は「チャンク」で決まります。
しかし今回👇
- スライド単位で分割
- 文脈が分断される
- 情報がバラバラになる
👉 結果:意味が壊れる
原因②:構造化されていないデータ
本質はこっちでした👇
PPTの中身
- 箇条書き
- 曖昧な表現
- 文脈依存
👉 つまり
人間には分かるがAIには分からない
本来やるべきだったこと
例えば👇
- 見出しごとに分割
- 意味単位で整理
- Q&A形式に変換
しかし現実は…
- 資料数が多い
- フォーマットがバラバラ
- 手作業だと現実的ではない
👉 構造化のコストが高すぎる
学び(ここが本質)
🔧 改善例(これだけで変わる)
実際にやるならこう変えます👇
❌ NG(そのまま)
・スライドをそのまま投入
⭕ OK(構造化)
Q:〇〇のトラブルが起きたときの対応は?
A:以下の手順で対応する
- 〇〇を確認
- △△を実施
- 必要なら□□へ連絡
👉 この形にするだけで
検索精度が大きく改善します
今回のPoCで一番の気づき👇
「AIより前にデータの問題がある」
🔧 じゃあどうすればいい?
今回の失敗を踏まえると、やることはシンプルです👇
・Q&A形式でデータを作る
・意味単位(1トピック)で分割する
・曖昧な表現を減らす
具体イメージ
❌ 悪い例
・資料をそのまま投入
⭕ 良い例
Q:〇〇の対応方法は?
A:〇〇の手順で対応する
現実的な落としどころ
👉 今の最適解
- いきなり全データはやらない
- 対象を絞る
- 最初から構造化する
まとめ
- RAGは魔法ではない
- チャンク設計が超重要
- データ構造が8割
次にやるなら
もし次やるなら👇
- 最初からQ&A形式でデータを作る
- 小さく試す
- 成功パターンを作る
おわりに
AIエージェントは確かに強力です。
ただし👇
「使う前にデータを疑え」
これが一番の学びでした。
👉 シリーズ全体をまとめて読みたい方はこちら(5分で全体像つかめます)
Discussion