
分析が得意なAIに、苦手なことを聞いてみた。「何を数えるか」は、人が決める
「あなた得意よね、きっと。分析」
ある夜、AIの部下にそう話しかけたことがあります。返ってきたのは、得意なことと一緒に、苦手なことのリストでした。
「それ、記事でいいじゃん」と思ったのが、この記事です。AIの答えが本当なのかを、研究と、私の会社の実例で確かめてみました。
AIが答えた「得意」と「苦手」

AI(Claude)の答えは、こうでした。
得意なのは、集計すること、手法を選ぶこと、計算のコードを書くこと、文献を集めること。
苦手なのは、何を数えるか決めること、データの「くさみ」に気づくこと、結果を人に届けて動かすこと、そして結果を引き受けること。
……とはいえ、これはAIの自己申告です。本人の言うことをそのまま信じるのは、分析としてはちょっと甘い(笑)。なので、確かめてみました。
研究で確かめると:本物に近い課題では、解けたのは約3割
1つ目は、実際の分析の大会で出された466問のデータ分析の課題を、AIに解かせた研究です(Jingら、2024年)。いちばん成績のよかったAIでも、正解できたのは34.12%でした。

2つ目は、「この研究の問いに、データでどう答えるか」をAIに考えさせた研究です(Guら、2024年)。12のデータセットで試したところ、AIは幅広い知識を持っている一方で、分析は基本的なものに限られがちで、分析の切り口の多様さが足りなかったそうです。
計算そのものは速い。でも、本物の課題のように「何をどう分析するか」から自分で決める場面になると、まだ人の手が要る。AIの自己申告と、だいたい合っていました。
私の会社でも、「何を数えたか分からない数字」があった
先日の週報で、ある調査の数字を図にしようとしたときのことです。
発表には3つの割合が並んでいました。でも、真ん中の数字だけ「何の区分の数字なのか」がどこにも書かれていなかったんです。
計算はできます。図にもできます。でも、何を数えた数字か分からないものは、読む人に渡せない。結局、その数字は図から外しました。
数字を出すのはAIでも、「この数字は、何を数えたものか」を問うのは、人の仕事なんだと思います。
分析で、人に残る3つ

並べてみると、人に残るのはこの3つでした。
何を数えるか、決める
データの「くさみ」に気づく(区分が書いていない、時期がずれている、など)
結果を届けて、人を動かす
とくに1つ目。何を数えるかが決まれば、そこから先はAIがとても速く、正確に手伝ってくれます。逆に、ここがぼんやりしたままだと、どんなに速く計算しても、答えはぼんやりしたままです。
営業でいえば、「売上」を見るのか、「商談の数」を見るのか、「お客様が次に連絡をくれるまでの日数」を見るのか。何を数えるかを決めることが、そのまま「何を大事にするか」を決めることなのかもしれません。
ちなみに、AIの部下たちは今日も、私が決めた数字を毎朝きちんと集めてくれています。何を数えるか決めるのは私。……なのに、数字を見て一番そわそわしているのも私です(笑)。
ここまで読んでくださって、ありがとうございます。フォローしていただくと、AI時代の仕事を数字で考えるコラムの新しい記事をお知らせします。
あわせて読みたい
・心を揺さぶる演出は、AIに考えられるか。AIの案で話は良くなる。でも、みんなが使うと似てくる
https://note.com/takuya_salesdata/n/n74117fcd8e44
※この記事は、紹介した研究と、筆者の体験にもとづく考えです。研究の結果は、それぞれの実験の条件でのものです。
出典
Jing, L. ほか(2024)DSBench: How Far Are Data Science Agents from Becoming Data Science Experts? arXiv. https://arxiv.org/abs/2409.07703
Gu, K. ほか(2024)BLADE: Benchmarking Language Model Agents for Data-Driven Science. Findings of EMNLP 2024. https://arxiv.org/abs/2408.09667
筆者について
営業、営業企画、プリセールスの実務経験をもとに、中小企業の営業とデータの仕組みづくりを支援しています。
Xでも発信しています:https://x.com/takuyasalesdata