AIで時短するはずが、間違い探しに1時間かかった

AIとの分析に2時間かかった。想定外である。

私の外出予定を潰しやがったAIへの怒りが収まらない。

なので、徹底的に「なぜこんなことになったのか」「次からどうしたらいいのか」「AIと人間の役割分担はどうあるべきか」を言語化することにした。

このnoteは、私が無駄にした時間からの気づきをまとめたものだ。この経験が少しでもAIを使う民の参考になればうれしい。

とある提案業務。1時間くらいで終わるだろうと思っていた。

AIと壁打ちをしながら1時間ほどで内容を考え、ドキュメントにまとめさせた。いい感じだと思っていた。が、ここからが長かった。そこからの修正に1時間かかり、結局2時間かかったのだ。

は？？AIって、時短できるんじゃないんかい。

っていうか、私も私だ。ドキュメントにまとめる前に違和感に気づかなかったんか？？

これがねー、わからなかったのだ。こういうことが、わりとある。AIだけでなく人間相手でも。

皆さんも経験ないですか？話しているときには「ふんふん」って聞いているけど、あらためてまとめてみると食い違いがあったり、よくよく考えるとおかしくね？ってなるやつ。

今回もそれだった。AIと話しているとき、ひとつひとつはそれっぽかったのだ。

でも、いざAIがまとめたドキュメントを提出物として問題なさそうかのレベル感で改めて見たときに、いろいろと矛盾に気づいてしまった。

「ほんとにそれ正しい？」
「その前提、合ってる？」
「なんか違和感がある。こんなに多いわけない」

気づいた違和感をAIに伝えると、

「違っていました！」

と返ってきた。

え、ここが変わるならここも変わるんじゃない？と、芋づる式に修正事項が出てくる。

結局、AIと話してわかったことの多くは「使えなかったこと」になった。考える時間以上に、AIのどこが間違っているのかを探すことに時間がかかった。貴重な私の時間が無駄になった感覚で、とても悲しい。

AIで時短するはずが、AIの間違い探しに1時間かけている現実。

しんどーーーー！！！！！！

ひとしきり修正が終わったあと「これを防ぐにはどうしたらいい？」とAIに聞いて、原因を話し合って、再発防止策まで考えさせた。

けど今回びっくりしたのは、最終的にAIは「限界があります」と言ってきたことだった。

自分にはできないことを挙げ、「ここまでは頑張るけど完全じゃないので、人間にお願いします」と言ってきたのだ。急に謙虚か。（かと言って怒りが消えるわけでもないのだが）

このやりとりをしながら、私はいつもどおり、ずっと「AIがやるべきこと、人間がやるべきことはなんなんだろう」と考えていた。

AIには、いくつかの致命的な弱点がある。ここでは3つを紹介したい。どれも私のAIとは話しきって、納得していることだ。

データが合っていることへの責任がない

今回、私は「なんか数字が変な気がする」「そんなわけなくない？」という違和感をベースにAIに質問していった。

その違和感を持った原因は、数字を見る立場としての経験知ではなかったと思う。なんていうか、もっと生々しい感覚なのだ。

「この説明はそもそも成り立つのか？成り立っていいのか？」
「これが成り立ってしまうと、過去のあれと矛盾しないか？」
「これが正しいとして、これを言ったら、こういう反論が来るのではないか」

みたいな、そういう、提出した後の人間の反応を想像しながら数字を見ていったときに「なんかおかしい」が生まれてくるのだ。

たぶん、ここが「対話しているときには、ふむふむ」と思うのに、いざドキュメントになると「おかしくない？」ってなる部分の差なのだと思う。

人間には説明責任があって、データはAIが作ったとしても、人間がOKと思って説明しないといけない。いろんな辻褄があっていることも責任のなかには入ってくるけど、AIはそういう責任みたいなものを持っていない。

だから間違いを指摘すると平気で「間違ってました！」って言ってくる。ここなんだよなあ、AIのしんどさ。これがひとつめ。

AIは、自分からは「間違っているかもしれない」と疑わない

これがふたつめ。たぶん人間は無意識のうちに、間違っている可能性も考えているはずだ。

これは先述の責任とセットになる話でもある。確信を持って説明しないといけないからこそ「間違っていないか」という視点で自分のロジックを疑ってみる。

人間は、いろんな角度からつついてもロジックが崩れないかを考える。でもAIにはこの視点がない。指示しない限りは自分を疑えないのだ。

だから人間が「なんか変」と思わなければ、そのまま進んでしまうのだ。ここが怖いんだよなあ。

じゃあ、その「なんか変」はどこから来るんだろう、と思ったときに、最後の差が来る。これだ。

AIは、人間と同じようには文脈を持てない

文脈。これがいちばんの差。

これまで見てきた数字。
過去の背景。
だいたいこのくらいになるはず、という感覚。
この条件ならそんな結果にはならない、という知識。
誰かがあのときあんなこと言ってたな、という断片的な記憶。
あの人ならこう質問してきそうだ、という予測。

そういう感覚をもとに、人間は違和感を持つ。

AIが文脈を持てないとは言わない。人間が過去の経緯を共有したり、議事録を読ませたりすれば、ある程度の補完はできるだろう。

でも人間ですら議事録だけを見てもニュアンスがわからないこともあるんだから、AIが文字からの情報で補える文脈には限界があるはず。

文脈の理解や、それを踏まえた最終判断までAIに委ねるのは、いまの段階では難しい。ここは当面、人間に残る仕事になるだろう。

つまり、AIを使う人間に残るのは、

責任
疑う力
文脈

この3つなのではないか。

AIを使えば使うほど「人間は、なにをするのか」が見えてくる。もっと厳密に言うと「人間に残るものはなにか」だ。

今日は、その答えのひとつが見えた気がする。

でもまあ…

AIとの分析に2時間。
うち1時間はAIのミス。

やっぱり、しんど！！！！
出かけたかったなー。