みんなのAI――知識を詰め込むほどバカになる？

AIを入れた運営が壊れるというお話を書きます。

人間の知識量と精度について、最近よく考えています。
AIにも、まったく同じことが言えると感じています。

■残酷なお話し

「知識が多いほど精度が上がる」は幻想です。
むしろ知識を増やしすぎることで、間違いや誤答が増える可能性があります。

感覚で言っているのではありません。

知識が多いから答えがブレます。
物事を知っていれば知っているほどブレます。

小さな子供にお花の絵を描いてもらうと大抵、赤いチューリップか黄色いヒマワリでしょう。
では、おとなの植物学者なら、どうでしょうか。

AIは非常に広い知識を持っています。
人間も、年齢や経験を重ねるほど知識は増えていきます。

そうした「知識が多い」人間に質問をすると、持てる知識を総動員して答えようとします。
そのとき答えるための文脈や条件が増えすぎ、視点が散り、しばしば答えが一つに収束できなくなります。

これはAIでも、まったく同じです。

このことを、統計学や機械学習の世界では、
バイアス・バリアンス・トレードオフ、オーバーフィッティング
と呼ばれる理論として知られています。

要するに、知識や知識に含まれるルールが多く複雑になるほど、
何でも説明できそうに見えて、目の前の小さな問いにはピンポイントの精度で答えにくくなるという現象です。

FAQシステムやAIに想定問答集やマニュアルを詰め込もうとしている方々。
ドキッとしたらいったん手を止めてください。

■精度を上げるには、知識を減らす

逆に、知識が少ない存在はどうでしょうか。

さまざまな質問には答えられません。守備範囲は狭いです。

ただしその限られた範囲にぴったり一致する質問であれば、ほぼ100％正解を答えられます。

もし世界の国の通貨・物価・言語の種類しか知らないAIがいたら。
何でも答えられるわけではありませんが、旅行先を決めるには重宝しそうです。

もし銀行のありとあらゆる「手数料」を知ってるだけのAIがいたら。
手数料に関しては超頼れる存在になります。

損保会社で自動車事故時の処理と保険金請求方法については完璧に知っているがそれ以外は何も知らないAIがいても、自動車事故の相談だけには、めっぽう使えそうです。

それらのAIは不器用ですが、
ひとつの分野では最強です。

これは、経済学でいう
専門化の原理（Principle of Specialization）
という考え方です。

AIを賢くしようと知識をできるだけたくさん教え込むより、専門に縛ったほうが強いのです。

■賢いAIの使い方

高い精度の答えにしたければ、AIを万能にしようとしてはいけません。

このAIは経理専用。
このAIは法律専用。
このAIは特定の機械だけを見る。
このように専門分野で使い分けましょう。

これはタスクに制約を課すということですが、
数学や経済学では
制約条件付き最適化（Constrained Optimization）
として知られています。

選択肢を減らすことで、解の解像度・精度は爆上がりします。

幅広く、自由度が高いことは実は「便利さへの強さ」ではありません。

■FAQとチャットボットが破綻する理由

いろいろな難しい理論や思想の名前を、あえて挙げましたが、
これらを覚える必要はありません。

それほど理論が明快にあって、しかも世の中では常識的にそれに則って動いているという点だけは、わかってほしいのです。

ところが多くの企業で、FAQやチャットボットはこの常識と真逆の設計をしています。

とにかくいっぱい !
とにかくなんでも !
とにかくだれにでも !
つめこみの結果、起きていること。

検索精度が下がり、回答がズレ、ユーザーは解決策に辿り着いていません。
そのあげくコールセンターはパンクしています。

これは完全な設計ミスです。

「何でも答えられるようにする」ことが、皮肉にも答えられなくなる原因になっています。

「全部答えなくていい」と割り切るのが真理なのです。

■よくある反論（企業の言い分）

「それでは、たくさんのお客さんに対応できないのでは？」
「ひとりでも多くのお客さんを救いたいのに」
それって、感覚（感情）論ですよね。

FAQやチャットボットに知識をたくさん詰め込めば、コールセンターへの電話が減る、という比例関係がどこかにあるのでしょうか。
それ「風が吹けば桶屋が儲かる」より弱いと思います。

一度FAQやチャットボットに詰め込んでいる内容を断捨離して、特に多い問い合わせだけにしてみてください。
おそらく今の80％くらいのFAQは、すっきりとゴミ箱行きになります。

これは感覚ではありません。
経済学の常識中の常識、
パレート理論（80:20の法則）
に忠実に従った話です。

また僕自身の経験でも、この理論が正しいことを何度も目の当たりにしています。

問い合わせの大半は、ごく一部の質問に集中しています。

FAQやチャットボットを「詰め込み主義」でいくと、ロングテール理論が示す通りコストと精度は破綻していきます。

もう感覚的に仕事をするのはやめましょう。ニーズがあるところに、必要な分だけ。
「選択と集中」。
これも実績ある成功の法則です。

■AIにも専門性を

AIも、知識を厳選することで、回答精度の解像度が上がります。

解決率が上がり、大多数のユーザーはきちんと救われます。

知識の準備も「選択と集中」ができるため、人の運用コストも下がります。

AIもFAQもチャットボットも
広く浅くではなく、
狭く、深く。

これ、新しい思想ではありません。
僕のとっぴな思い付きでもありません。

統計、経済学、機械学習、そして現場運用。
すべてがどっしりとした裏付けのあるやり方です。

あとはそれに素直に従うだけ。
あなたの会社のユーザーに対して、非常識なことをしてはいけません。