メインコンテンツへスキップ
見出し画像

分析が得意なAIに、苦手なことを聞いてみた。「何を数えるか」は、人が決める

    「あなた得意よね、きっと。分析」

    ある夜、AIの部下にそう話しかけたことがあります。返ってきたのは、得意なことと一緒に、苦手なことのリストでした。

    「それ、記事でいいじゃん」と思ったのが、この記事です。AIの答えが本当なのかを、研究と、私の会社の実例で確かめてみました。

    AIが答えた「得意」と「苦手」

    AIの答え。得意は集計・手法選び・コード・文献集め、苦手は何を数えるか決める・データのくさみに気づく・結果を届けて動かす・引き受ける、と左右に並べた図
    図1:AIに聞いた「得意」と「苦手」(AIの自己申告。筆者作成)

    AI(Claude)の答えは、こうでした。

    得意なのは、集計すること、手法を選ぶこと、計算のコードを書くこと、文献を集めること。

    苦手なのは、何を数えるか決めること、データの「くさみ」に気づくこと、結果を人に届けて動かすこと、そして結果を引き受けること。

    ……とはいえ、これはAIの自己申告です。本人の言うことをそのまま信じるのは、分析としてはちょっと甘い(笑)。なので、確かめてみました。

    研究で確かめると:本物に近い課題では、解けたのは約3割

    1つ目は、実際の分析の大会で出された466問のデータ分析の課題を、AIに解かせた研究です(Jingら、2024年)。いちばん成績のよかったAIでも、正解できたのは34.12%でした。

    466問のデータ分析の課題で、最も成績のよかったAIエージェントが正解したのは34.12%だったことを示す帯の図
    図2:本物に近いデータ分析の課題で、AIが解けた割合(Jingら2024をもとに筆者作成)

    2つ目は、「この研究の問いに、データでどう答えるか」をAIに考えさせた研究です(Guら、2024年)。12のデータセットで試したところ、AIは幅広い知識を持っている一方で、分析は基本的なものに限られがちで、分析の切り口の多様さが足りなかったそうです。

    計算そのものは速い。でも、本物の課題のように「何をどう分析するか」から自分で決める場面になると、まだ人の手が要る。AIの自己申告と、だいたい合っていました。

    私の会社でも、「何を数えたか分からない数字」があった

    先日の週報で、ある調査の数字を図にしようとしたときのことです。

    発表には3つの割合が並んでいました。でも、真ん中の数字だけ「何の区分の数字なのか」がどこにも書かれていなかったんです。

    計算はできます。図にもできます。でも、何を数えた数字か分からないものは、読む人に渡せない。結局、その数字は図から外しました。

    数字を出すのはAIでも、「この数字は、何を数えたものか」を問うのは、人の仕事なんだと思います。

    分析で、人に残る3つ

    分析で人に残る3つ。1何を数えるか決める、2くさみに気づく、3届けて人を動かす。1が強調されている
    図3:分析で、人に残る3つ(筆者作成)

    並べてみると、人に残るのはこの3つでした。

    1. 何を数えるか、決める

    2. データの「くさみ」に気づく(区分が書いていない、時期がずれている、など)

    3. 結果を届けて、人を動かす

    とくに1つ目。何を数えるかが決まれば、そこから先はAIがとても速く、正確に手伝ってくれます。逆に、ここがぼんやりしたままだと、どんなに速く計算しても、答えはぼんやりしたままです。

    営業でいえば、「売上」を見るのか、「商談の数」を見るのか、「お客様が次に連絡をくれるまでの日数」を見るのか。何を数えるかを決めることが、そのまま「何を大事にするか」を決めることなのかもしれません。

    ちなみに、AIの部下たちは今日も、私が決めた数字を毎朝きちんと集めてくれています。何を数えるか決めるのは私。……なのに、数字を見て一番そわそわしているのも私です(笑)。

    ここまで読んでくださって、ありがとうございます。フォローしていただくと、AI時代の仕事を数字で考えるコラムの新しい記事をお知らせします。

    あわせて読みたい
    ・心を揺さぶる演出は、AIに考えられるか。AIの案で話は良くなる。でも、みんなが使うと似てくる
    https://note.com/takuya_salesdata/n/n74117fcd8e44

    ※この記事は、紹介した研究と、筆者の体験にもとづく考えです。研究の結果は、それぞれの実験の条件でのものです。

    出典

    • Jing, L. ほか(2024)DSBench: How Far Are Data Science Agents from Becoming Data Science Experts? arXiv. https://arxiv.org/abs/2409.07703

    • Gu, K. ほか(2024)BLADE: Benchmarking Language Model Agents for Data-Driven Science. Findings of EMNLP 2024. https://arxiv.org/abs/2408.09667

    筆者について

    営業、営業企画、プリセールスの実務経験をもとに、中小企業の営業とデータの仕組みづくりを支援しています。
    Xでも発信しています:https://x.com/takuyasalesdata

    この記事が参加している募集

     
     
    中小企業の営業とデータの仕組みづくり。営業、営業企画、プリセールスの実務経験をもとに、明日から使える型と、AIの中に会社をつくる実験の記録を発信しています。

    あなたへのおすすめ