AIチームは、今日もふつうに失敗する——「今年が何年か」を知らなかったAIの話

ここしばらく書いてきた記事は、正直に言うと、うまくいった話ばかりでした。

AIを見せに行ったら人を紹介された。届けてくれるパートナーと組み始めた。営業メールの返信が返ってくるようになった——読み返してみると、我ながら景気のいい話が並んでいます。

なので、今日は逆の話を書きます。

この3週間で、うちのAIチームは派手に転びました。しかも全部、AIが悪いのではなく、作った本人である私の設計漏れでした。今日はその記録です。

先に、前提をひとつだけ

毎回しつこく書いていますが、大事なので今回も。

会社が丸ごとAIになったわけではありません。 お客様と会って話す、商談に出る、最後に送る判断をする——そういう「外に出ていく仕事」は、いまも私自身がやっています。表に立つのは人、裏で下ごしらえや事務を支えるのがAIチーム。いまはそういう分担です。

ただ、裏方を任せているからこそ、そこが静かに転ぶと、表にいる私にそのまま跳ね返ってきます。今日書くのは、まさにその話です。

失敗① 「今年が何年か」を知らなかった

いちばん笑ってしまったのが、これです。

配達の予定を管理している表があります。そこから空き状況を見て答える担当を動かし始めた、まさに初日のことでした。

私が「明日のここの空きは？」と聞いたところ、返ってきた答えがこうでした。

私は素直に表を見に行きました。行は、ちゃんとありました。

つまりこのAIは、存在しない仕事を私に頼んできたわけです。

原因を追いかけて、青くなりました。AIに渡している指示文のどこにも、「今日の日付」が書かれていなかったのです。

AIは、今日が何年何月何日かを、当たり前には知りません。何も渡さなければ、学習したときの知識から推測します。このときは、1年前の年だと思い込んでいました。そして予定表の照合は「月・日・曜日」の3点が一致する行を探す作りです。年が1つズレれば曜日がズレる。だから、絶対に見つからない。

ここで大事なのは、AIは嘘をついていないということです。渡された年が誤りだと知る術がないのだから、正直に「行が無い」と答えただけ。悪いのは、日付を渡し忘れた私です。

それでも、結果はいちばん困る形でした。黙って止まってくれるほうがまだいい。人に無駄な仕事をさせるほうが、たちが悪いからです。

そしてもう一つ、背筋が寒くなったことがあります。この仕組みには自動のテストを46件用意していて、その全部が通っていました。

「全部緑（＝全部合格）」は「正しい」という意味ではありませんでした。日付が抜けていても、他の部分は正常に動くからです。テストが見ていたのは「壊れていないこと」であって、「渡し忘れがないこと」ではなかった。ここは今回いちばんの反省点でした。

直し方は単純です。毎回かならず「今日はこの日です」と渡す形に変えました。

失敗② 決めていない時間帯を勝手に書いて、そのまま外に出た

これは笑えないほうです。

問い合わせへの返信を下ごしらえする担当がいます。案内してよい時間の枠は、あらかじめこちらで決めて渡してありました。

ところがAIは、その枠にない独自の時間帯を書いた返信を作りました。そして、それがそのまま外に出ました。受け付けられない時間で予約が来てしまう、という筋の悪い失敗です。

しかも同じ返信の中で、「金額は書かない」というルールまで破っていました。

最初に思ったのは、「指示文をもっと強く書こう」でした。太字にして、大文字にして、「絶対に」と念を押して。

でも、やめました。それでは、また同じことが起きると思ったからです。

代わりにやったのは、こうです。AIが返信を書いたあと、機械のほうで標準の枠に書き換える。 金額らしき表現が混ざっていたら警告が鳴るようにする。つまり、AIに自由を残す範囲を、こちらから狭めました。

ここで学んだのは、たぶん今回いちばん実用的なことです。

「ちゃんと守ってね」とお願いすることでは、守らせられない。守らせたいことは、お願いではなく、仕組みにする。

失敗③ 作ったのに、1件も動いていなかった

いちばん見つけにくかったのが、これでした。

1時間ごとに届いたメールを仕分けて、返信が要るものは下書きまで用意しておく——という仕組みを入れました。翌日、様子を見に行って、固まりました。

下書きが、1件も作られていませんでした。

エラーも出ていません。動いてはいる。でも、静かに何もしていなかった。

原因はこうでした。この仕組みには「初回だけは様子見をする（何もしない）」という決まりを入れてあり、その「初回かどうか」を、記録が空かどうかで推測していたのです。

ところが、受信箱が静かな時間帯は、記録が空のまま保存されます。すると次の回も「まだ一度も動いていない＝初回だ」と誤認する。そして静けさのあとに届いた最初の1件を、毎回飲み込んでいました。

考えてみれば、うちの受信箱は静かなのが平常です。ということは、実質「新しい問い合わせは必ず見逃す」状態でした。いちばん拾ってほしい1件だけを、確実に落としていたわけです。

読み間違えていたのは、たった一点です。「空っぽ」を「まだ無い」だと解釈していた。 空も、正常な状態のひとつでした。

そして、この件でいちばん怖かったのはここです。エラーを出して派手に転ぶ故障より、黙って何もしない故障のほうが、ずっと見つけにくい。 たまたま様子を見に行ったから気づけただけで、そうでなければ何日も気づかなかったかもしれません。

おまけ④ 積み上げた記録が、静かに消えかけた

もう一つだけ、短く。

AIチームの稼働実績を書き溜めているファイルがあります。複数の作業を並行させたせいで、その中身が食い違いました。

危ないのは、食い違いそのものではありません。どちらか片方を選んだ瞬間に、もう片方に書かれていた記録が黙って消えることです。しかも、手では作り直せません。

さらに厄介なことに、「更新時刻が新しいほうを残す」という、いちばん素直なやり方が通用しませんでした。実際に、更新時刻は2日新しいのに、中身は13件少ない写しが存在したからです。

なので、片方を捨てるのではなく、両方を突き合わせて合流させる形に直しました。……そして正直に書いておくと、その直し自体が最初は効かず、2回目でようやく動きました。 情けない話ですが、これも記録です。

ここでの学びは、少し意外なものでした。AIに任せる量が増えるほど、成果そのものより「成果の記録」のほうが壊れやすい。 働いてくれるのは頼もしいのですが、働いた証拠が消えると、何を直せばいいのかも分からなくなります。

直し方が、4つとも同じだった

並べてみて、はっきり見えたことがあります。

• 日付を知らなかった → 毎回かならず日付を渡す形にした

• 勝手な枠を書いた → 書いたあとに機械が標準へ直す形にした

• 何もしていなかった → 「空」と「まだ無い」を区別する形にした

• 記録が消えかけた → 片方を捨てず、合流させる形にした

4つとも、直し方は「今後は気をつけて」ではありませんでした。間違えようがない形に、作り替えただけです。

これは、20年以上システムを作ってきて何度も通ってきた道でした。人に「忘れないでね」とお願いするのではなく、忘れようがない仕組みにする。入力ミスを「気をつけて」と言うのではなく、そもそも通らないようにする。

相手がAIになっても、本質は同じでした。むしろAIは、疲れず何百回でも同じ手順を繰り返せるぶん、間違いも同じ精度で何百回も繰り返します。 だからこそ、「お願い」の効き目は人相手より薄いのかもしれません。

AIエージェントは、導入した日には、まだ戦力にならない

今日いちばん書きたかったのは、ここです。

AIエージェントは、手にした時点では、まだ使い物になりません。

うまく動くようになるまでには、どうしても“教育”の時間が要ります。これは、人を雇うのとまったく同じでした。初日から完璧に働ける新人がいないように、AIも、初日は普通に転びます。今日書いた4つは、全部その教育の記録です。

そして教育といっても、やることは説教ではありませんでした。叱るのではなく、間違えようのない環境を用意すること。 それだけです。

「AIを導入したけれど、結局使えなかった」という話は、正直よく聞きます。もしかするとその何割かは、AIの性能の問題ではなく、この“育てる期間”を飛ばしてしまっただけなのではないか——最近はそう感じています（もちろん、私が自分の周りで見てきた範囲の実感なので、全部がそうだとは言いません）。

救いは、育てた分はちゃんと残ることです。一度直した失敗は、二度と同じ形では起きません。日付を渡し忘れる事故は、もう起きない。勝手な時間帯が外に出ることも、もう起きない。人の新人教育と違って、直した仕組みは翌日から文句も言わず、黙って同じ品質で働き続けてくれます。

それでも手放さない理由

最後に、正直なところを書いておきます。

この3週間だけで、これだけ転んでいます。AIが完璧になったわけでも、私が全部を任せられるようになったわけでもありません。 表に立って人と会うのも、最後に送る判断をするのも、いまも私の仕事です。

それでも手放さないのは、直せば直すほど、確実に静かになっていくからです。今日書いた4つは、もう起きません。次はまた別の転び方をするでしょうが、それも直せば、また一つ静かになる。その積み重ねに、はっきり手応えがあります。

うまくいった話だけを書くと、たぶんいちばん大事なところが伝わりません。だから、しくじったことも、これからもこうして正直に書いていきます。同じように手探りしている方の、何かの足しになれば嬉しいです。

もし「うちの業務のどこをAIに任せられるか、まず話だけ聞いてみたい」という方がいれば、お気軽にどうぞ。今すぐの導入を考えていなくても大丈夫です。今日書いたとおり、私も毎日転びながらやっている途中なので、一緒に考えるくらいの気持ちで。

―― 記事末尾（リンクまとめ）――
（Grid Memo / AI導入支援を自然に紹介。押し売りにしない）
・Grid Office（AIチームまるごと一式）とは：https://grid-links.com/ai-support/grid-office/
・AI導入支援（サービス全体）：https://grid-links.com/ai-support/
・Grid Memo（AIチームの土台になっている、Gmailの上で動く共有ノート）：https://grid-memo.com/
・会社サイト：https://grid-links.com/
・前回の記事（AIが“量”を、人が“質”を——半自動の営業の話）：https://note.com/aoki_hayama/n/nc7435f092846