メインコンテンツへスキップ

AIでアンケートの自由回答を分類。件数より先に、原文を読む

    「その件数、数え直した?」
    「実際には、どんな書き方だったの?」

    アンケートの自由回答をAIに分類してもらい、見出しと件数のついた一覧を持って、報告に行く。
    そこで、こう聞かれたとします。

    AIが返してくる一覧は、整った形で返ってくることがあります。
    「価格について」「対応の早さについて」のように見出しが並び、それぞれに件数がついている。
    そのまま会議の資料に貼りたくなる形です。

    ただ、冒頭の質問に、すぐ答えられるでしょうか。
    答えられないうちは、その一覧は、まだ「案」の段階です。

    先に、この記事の答えを書いておきます。
    AIに任せるのは、分け方の候補を出すことと、回答を仮に振り分けることまで。
    分け方を決めること、件数を確かめること、報告に使う原文を選ぶことは、人がやります。

    こんな人に向けて書きました。

    • 顧客アンケートや社内アンケートの自由回答を、AIでまとめ始めた。または、まとめたい

    • まとめた結果を、会議や上司、お客さんに報告する立場にある

    • でも、AIの一覧をどこまで信じて報告してよいかが、まだ決まっていない

    読み終えたときに手に入るのは、1つです。

    • 報告の前に、AIの分類を確かめる4つの質問と、それぞれの答えの用意のしかた

    分類が正しくなる、アンケートから成果が出る、といったことは約束しません。

    向いていない人も、先に書いておきます。

    • 選択式の設問を集計したい人。ここでは自由回答だけを扱います

    • 統計的な分析の手法を知りたい人

    • 特定のアンケートツールの使い方を知りたい人

    広告運用の代行とAI顧問の仕事をしている立場から、一般的な手順として書きます。
    私自身のアンケートの事例を紹介する記事ではありません。

    AIの分類で、起きることがあること

    自由回答をAIに分類させると、次のようなことが起きることがあります。

    • 1つの回答に話題が2つあると、片方の見出しにだけ入る(「値段は高いけれど、対応は早かった」など)

    • 見出しの名前が、回答者の言葉より強い言い方になる(「不満」とは書いていない回答が、「不満」の見出しに入る)

    • 少ない意見が「その他」にまとめられ、一覧の上では見えなくなる

    • 件数の数え方がずれて、見出しの件数を足しても、回答の数と合わない

    どれも、一覧の見た目だけでは気づきにくいことがあります。
    だから、報告の場で聞かれる質問から逆に考えて、確かめることを先に決めておきます。

    1つ目の質問「どういう分け方をしたの?」

    分け方は、人が決めます。

    最初からAIに「分類して件数を出して」と頼むと、分け方と振り分けと数えることが、一度に進んでしまいます。
    そこで、まず分け方の候補だけを出させます。

    たとえば、こう頼みます。

    「次の自由回答を読んで、分類の見出しの候補を出してください。まだ振り分けはしないでください。見出しごとに、どんな回答が入るのかを1行で説明し、当てはまる回答の例を原文のまま、いくつか挙げてください。」

    候補を見たら、人が見出しを決めます。
    決めるときの手がかりは、この集計で何を決めたいのか、です。
    商品を直したいのか、問い合わせの対応を見直したいのか。目的によって、残す見出しは変わります。

    見出しを決めたら、それぞれに「入れる条件」を1行で書いておきます。
    報告で「どう分けたの?」と聞かれたら、この条件をそのまま見せられます。

    2つ目の質問「その件数、数え直した?」

    件数は、AIに数えさせず、人が数えられる形にします。

    回答を渡す前に、1つずつ通し番号をつけておきます。
    そのうえで、AIには件数ではなく、「見出しごとに、入る回答の番号の一覧」を出してもらいます。

    件数は、その番号の一覧から、表計算などで人が数えます。
    数えたら、次の2つを見ます。

    • どの見出しにも入っていない番号はないか

    • 2つ以上の見出しに入っている番号はどれか

    話題が2つある回答を、両方の見出しに入れてよいかは、振り分けの前に決めておきます。
    両方に入れた場合は、見出しの件数を足すと回答の数より多くなります。
    そのことを、報告にも一言書いておきます。

    3つ目の質問「実際には、どんな書き方だったの?」

    報告に載せる「お客さんの声」は、人が原文から選びます。

    AIに「代表的な声をまとめて」と頼むと、返ってくるのは、要約された言葉のことがあります。
    回答者が実際に書いた言葉とは、強さや意味がずれることがあります。

    見出しを決めて振り分けたら、見出しごとに、いくつかの回答を原文で読みます。
    見出しの名前と、中身が合っているかを確かめるためです。

    合っていなければ、見出しの名前を、回答の言葉に近づけて直します。
    たとえば「不満」より「価格についての言及」のほうが中身に合うなら、そちらにします。

    原文を報告に載せるときは、名前や、書いた人が特定できる書き方を外します。
    AIに回答を渡す前にも、同じものを外しておきます。どこまで外すかは、社内の取り決めに従ってください。

    4つ目の質問「少ない意見は、どこに入ったの?」

    「その他」と、件数の少ない見出しは、人が全部読みます。

    件数の多い見出しは、報告の中心になります。
    けれど、すぐに対応が要る声は、少ない意見の中に混ざっていることがあります。
    たとえば、安全にかかわる指摘や、強い苦情、利用をやめるという声です。

    こうした回答は、件数の大小で扱いを決めず、見出しとは別に拾い上げて、報告の中で分けて書きます。

    報告には、分け方・数え方・原文を一緒に出す

    4つの質問の答えを用意したら、報告資料には、一覧と一緒に次のことを書いておきます。

    • どの設問の、いつの期間の回答か

    • 分け方(見出しと、それぞれの入れる条件)

    • 件数は人が番号から数えたもので、1つの回答が2つ以上の見出しに入ることがある

    • 原文の例(人が選んだもの)

    • 「その他」と少ない意見の中から、別に拾い上げた声

    • AIに任せたのは、見出しの候補と仮の振り分けまで

    こうしておくと、冒頭の質問が来ても、資料の中で答えられます。

    結論

    AIの分類は、分け方の候補と仮の振り分けまで。件数と原文は、人が確かめてから報告に使います。

    今日やる一歩

    手元にあるアンケートの自由回答から、名前などを外したうえで、今日のうちに自分で全部読み返せる量だけを取り出します。
    回答に通し番号をつけてAIに渡し、件数ではなく、見出しごとの番号の一覧で返してもらってください。

    そのうち、見出しを1つ選び、中に入った回答を、原文で全部読みます。
    見出しの名前と合わない回答が見つかったら、その見出しの「入れる条件」を、自分の言葉で1行書き直してみてください。


    はじめての方へ(このnoteで書いていることと、記事の一覧)https://note.com/bansoai/n/n2227a286c19b

    AIのまとめを、そのまま人に渡さない。
    これは、会議の議事録をAIに要約させるときと、近い考え方です。

    共有する前に人が確かめる考え方を、別のnoteにしています。

    まず、無料の11本です。

    AI翻訳で取引先メール。自然な訳ほど、送る前に確かめる
    数字と約束の文を、人が元の日本語と照らし合わせる考え方。(無料)
    https://note.com/bansoai/n/n4f33affd0e70

    AIで求人票の下書き。頼み方を3段階で直し、条件の欄は人が書く
    条件の欄をAIに埋めさせず、人が書く考え方。(無料)
    https://note.com/bansoai/n/n6c96235d0071

    AIで問い合わせの返信を下書きする前に。よく出る5つの疑問と答え
    問い合わせの答えを、社内の材料と人が決める考え方。(無料)
    https://note.com/bansoai/n/n10a95aa1cc2d

    AIで手順書を作るときの、4つのつまずきと直し方
    社内の手順書を、AIに並べさせ、中身は人が書く考え方。(無料)
    https://note.com/bansoai/n/nc620b00c2c14

    AIで議事録を要約する手順。共有前に人が入る3か所
    会議の要約を、共有する前に人が確かめる考え方。(無料)
    https://note.com/bansoai/n/n27f4eac64b0f

    広告文のNGワードチェックを機械に任せる。止まった言葉を、人が見直す3つの場面
    機械が止めた言葉と、止めなかった言葉を、人が見直す考え方。(無料)
    https://note.com/bansoai/n/n5af8e79e2b50

    入札の見直し案をAIに出させるとき、反映する前に決める4つ。お金が動く設定は「案まで」で止める
    お金が動く設定を「案まで」で止める考え方。(無料)
    https://note.com/bansoai/n/n330a1b8152c6

    広告運用でAIに任せていい作業と、人が確かめる作業の分け方。数字が別の期間だったことがある
    人が自分の目で見る場所を決める考え方。(無料)
    https://note.com/bansoai/n/n388cbc7b1fd9

    AIに「書き込みました」と2回言われた。ファイルは変わっていなかった
    報告を、確かめられる記録で照合する考え方。(無料)
    https://note.com/bansoai/n/n9a0d3605e68a

    Claude Codeに「できません」と言われた。別の場所では、できていた。確かめる3つの問い
    「できない」の誤答の記録と、確かめる3つの問い。(無料)
    https://note.com/bansoai/n/n12c6b086562f

    禁止ルールを入れすぎたら、AIが自分の仕事まで止めた
    許可と禁止を、あとで直せる形にするために先に決めること3つ。(無料)
    https://note.com/bansoai/n/nef1e24fa9622

    あわせて、任せる範囲を広げたときに出てくる悩みを、2本に分けました。こちらは100円です。
    どれも1本だけで読めるように書いています。
    必要なものだけ選んでください。

    Claude Codeのサブエージェントが、頼んでいないことまでやる。「やらせないこと」を書く5つの型
    禁止の書き方5つの型と、9つの問い、空欄のテンプレート。
    https://note.com/bansoai/n/n66f9d1e6a820

    CLAUDE.mdを書いたのに、守られない。見直したら、上の層のファイルが存在しなかった
    上の層のファイルが存在しなかった記録と、置き場所を確かめる2点。
    https://note.com/bansoai/n/nda0f83766b4e

    有料の2本は、Claude Codeの有料プランを使っている方が前提です。
    対象のプランと料金は、公式サイトで確認してください。
    向いていない人と返金の扱いは、それぞれの無料部分に書いてあります。

    最後に、資料を1つ用意しています。

    下のLINEに登録すると、任せた仕事が続くかを確かめる診断シートが自動で届きます。登録済みの方は、トークで『診断シート』と送ってください。

    https://utage-system.com/line/open/GZeMG1yxxWfj?mtid=z9IgRrL38sgN

     
     
    広告運用の代行とAI顧問をしています。 AIに任せる仕事と、人が確かめる仕事を分ける話を書いています。 自社の業務をClaude Codeに任せていて、つまずいた所と直し方を、事実の範囲で書きます。 AIを仕事に入れ始めた事業主・担当者向けです。

    あなたへのおすすめ