AIを5人に役割分担させたら「疑う係」がいなかった。別のAIに検算させると指摘が6件出た
6拠点・スタッフ約70名の会社を経営しています。自分の会社の実務を、AIで実際に直した記録を書いています。
今回は、AIに役割分担をさせた話です。うまくいった部分と、穴が空いていた部分の両方を書きます。
何が起きたか
うちでは、AIを5つの役に分けて使っています。調査・戦略・記録・社内改善・集客の5人です。
新しい拠点を1つ出すかどうか、この体制で試算を作りました。結論は「条件付きで出す」。
1週間後、念のため別のAIを2体立てて、この試算をチェックさせました。
計算と記述の検算：指摘6件
前提の裏取り：7項目中4項目が実勢とズレ
引き直した結果：年間の利益見込みが約4割下がった
一番まずかったのは、指摘の1つです。戦略役が「調査役の分析による」と書いた数字がありました。調査役が保存した資料のどこにも、その分析が無かったのです。
数字そのものは、妥当な範囲でした。でも、出典は宙に浮いていました。チェックを入れるまで、5人の誰もそれに気づいていませんでした。
5人の分け方
分けた理由は、1つの会話に全部を詰めないためです。大きな調査や分析を1つの会話でやると、途中の資料で会話が埋まってしまいます。
そこで重い作業は、それぞれの役に外出しします。各役には、仕事の中身のルールを持たせました。
調査役：確認できないことは「不明」と書く。出典は事実の直後に置く
戦略役：選択肢を3つ以上出す。推奨には「崩れる条件」を必ず添える
記録役：まとめるだけ。自分の判断で内容を足さない
社内改善役：提案はコスト・効果・リスクの3点セットで出す
集客役：数字で語る。推測で埋めない
加えて、ファイルごとに「誰が書き換えてよいか」を表にしました。指示書と進行管理は、私の承認なしには書き換えられません。
この分け方自体は、今も続けています。問題は、分け方の外側にありました。
なぜ見落としたか
見返して分かったのは、5人全員が「作る係」だったことです。
各役のルールは、どれも「自分の出力をきちんとせよ」という中身です。戦略役には「前提を疑え」というルールもありました。ただしそれは、自分の分析の前提です。
記録役には、資料どうしの整合を取る仕事もありました。ただ、中身はリンク切れや用語の揺れを直すことです。書かれた数字の出典までは、たどっていません。
役と役の受け渡しを見るルールは、どこにもありませんでした。戦略役が調査役の分析を引用したとき、それが本当にあるかを確かめる人がいない。
人間の組織なら、会議で誰かが「その資料、どれ？」と聞きます。AIの5人体制には、その一言を言う係がいませんでした。
もう1つあります。同じAIに自分の答えを見直させても、効きが弱いことです。自分で置いた前提は、自分では疑いにくい。見直しを頼むなら、別のAIに頼む必要がありました。
別のAIに何をさせたか
チェックは2体に分けました。見る場所が違うからです。
検算役（内側）：計算の誤り、記述の矛盾、引用元が実在するか
調査役（外側）：前提の数字が、世の中の実勢と合っているか
見つかったものは、きれいに分かれました。
内側の6件は、計算と引用の誤りです。損益分岐点が楽観側に歪んでいる、という指摘もここで出ました。売上の構成比がそのまま縮む前提で計算していたためです。
外側の4件は、前提のズレです。1人が1日にこなせる件数を、業界の上限の4件で置いていました。標準は2〜3件です。参照していた統計は、10年前の値でした。
ズレは両方向にありました。控えめすぎた前提も2つありました。上下が打ち消し合い、「条件付きで出す」という結論は変わっていません。
ただ、利益の見込みは約4割下げました。投資の回収見込みも、4か月あまりから約7か月に延びました。結論が同じでも、判断に使う数字は大きく変わったわけです。
学び：役割分担とは別に「疑いの分担」を置く
正直に書くと、この検算はこの1回きりでした。3日後に「チェックは仕組みとして回っているか」を確かめたら、常設の仕組みは無かったのです。
そこで、段階を付けたルール案を作りました。
いつも：計算は計算機で検算する。チェックリストで自己点検する
数字入りの提案：反対役を立てる。重要な事実だけ外部で裏を取る
大きな投資判断：別のAIに、内側と外側の両方からチェックさせる
ただ、仕組み化はいったん見送りました。今は「チェックして」と私が頼んだときだけ回しています。
他社でも使える形にすると、こうなります。
AIを役割で分けるなら、「作る係」とは別に「疑う係」を考える。 作る係のルールは、自分の出力しか守らない
疑う場所は、役と役の受け渡し。 「その数字の出典はどこか」を確かめる
見直しは、作ったAIとは別のAIにさせる
検算は内側と外側に分ける。 計算の誤りと前提のズレは、見つかる場所が違う
役割分担は、作業を分けるための仕組みです。疑うことまでは、分けてくれません。うちの場合は、1回の検算でそれが見えました。
――
AIの間違いを誰が見つけるか、という話はほかにも書いています。
AIに32ヶ月分の請求明細を棚卸しさせたら、指摘7件のうち6件が誤報だった
AIへの指示書に「始めるとき」しか書いていなかった。管理表7件のうち3件が現実とズレていた
同じくらいの規模の会社でAIを使う方へ。続きはフォローで届きます。
