AIでアンケートの自由回答を分類。件数より先に、原文を読む
「その件数、数え直した?」
「実際には、どんな書き方だったの?」
アンケートの自由回答をAIに分類してもらい、見出しと件数のついた一覧を持って、報告に行く。
そこで、こう聞かれたとします。
AIが返してくる一覧は、整った形で返ってくることがあります。
「価格について」「対応の早さについて」のように見出しが並び、それぞれに件数がついている。
そのまま会議の資料に貼りたくなる形です。
ただ、冒頭の質問に、すぐ答えられるでしょうか。
答えられないうちは、その一覧は、まだ「案」の段階です。
先に、この記事の答えを書いておきます。
AIに任せるのは、分け方の候補を出すことと、回答を仮に振り分けることまで。
分け方を決めること、件数を確かめること、報告に使う原文を選ぶことは、人がやります。
こんな人に向けて書きました。
顧客アンケートや社内アンケートの自由回答を、AIでまとめ始めた。または、まとめたい
まとめた結果を、会議や上司、お客さんに報告する立場にある
でも、AIの一覧をどこまで信じて報告してよいかが、まだ決まっていない
読み終えたときに手に入るのは、1つです。
報告の前に、AIの分類を確かめる4つの質問と、それぞれの答えの用意のしかた
分類が正しくなる、アンケートから成果が出る、といったことは約束しません。
向いていない人も、先に書いておきます。
選択式の設問を集計したい人。ここでは自由回答だけを扱います
統計的な分析の手法を知りたい人
特定のアンケートツールの使い方を知りたい人
広告運用の代行とAI顧問の仕事をしている立場から、一般的な手順として書きます。
私自身のアンケートの事例を紹介する記事ではありません。
AIの分類で、起きることがあること
自由回答をAIに分類させると、次のようなことが起きることがあります。
1つの回答に話題が2つあると、片方の見出しにだけ入る(「値段は高いけれど、対応は早かった」など)
見出しの名前が、回答者の言葉より強い言い方になる(「不満」とは書いていない回答が、「不満」の見出しに入る)
少ない意見が「その他」にまとめられ、一覧の上では見えなくなる
件数の数え方がずれて、見出しの件数を足しても、回答の数と合わない
どれも、一覧の見た目だけでは気づきにくいことがあります。
だから、報告の場で聞かれる質問から逆に考えて、確かめることを先に決めておきます。
1つ目の質問「どういう分け方をしたの?」
分け方は、人が決めます。
最初からAIに「分類して件数を出して」と頼むと、分け方と振り分けと数えることが、一度に進んでしまいます。
そこで、まず分け方の候補だけを出させます。
たとえば、こう頼みます。
「次の自由回答を読んで、分類の見出しの候補を出してください。まだ振り分けはしないでください。見出しごとに、どんな回答が入るのかを1行で説明し、当てはまる回答の例を原文のまま、いくつか挙げてください。」
候補を見たら、人が見出しを決めます。
決めるときの手がかりは、この集計で何を決めたいのか、です。
商品を直したいのか、問い合わせの対応を見直したいのか。目的によって、残す見出しは変わります。
見出しを決めたら、それぞれに「入れる条件」を1行で書いておきます。
報告で「どう分けたの?」と聞かれたら、この条件をそのまま見せられます。
2つ目の質問「その件数、数え直した?」
件数は、AIに数えさせず、人が数えられる形にします。
回答を渡す前に、1つずつ通し番号をつけておきます。
そのうえで、AIには件数ではなく、「見出しごとに、入る回答の番号の一覧」を出してもらいます。
件数は、その番号の一覧から、表計算などで人が数えます。
数えたら、次の2つを見ます。
どの見出しにも入っていない番号はないか
2つ以上の見出しに入っている番号はどれか
話題が2つある回答を、両方の見出しに入れてよいかは、振り分けの前に決めておきます。
両方に入れた場合は、見出しの件数を足すと回答の数より多くなります。
そのことを、報告にも一言書いておきます。
3つ目の質問「実際には、どんな書き方だったの?」
報告に載せる「お客さんの声」は、人が原文から選びます。
AIに「代表的な声をまとめて」と頼むと、返ってくるのは、要約された言葉のことがあります。
回答者が実際に書いた言葉とは、強さや意味がずれることがあります。
見出しを決めて振り分けたら、見出しごとに、いくつかの回答を原文で読みます。
見出しの名前と、中身が合っているかを確かめるためです。
合っていなければ、見出しの名前を、回答の言葉に近づけて直します。
たとえば「不満」より「価格についての言及」のほうが中身に合うなら、そちらにします。
原文を報告に載せるときは、名前や、書いた人が特定できる書き方を外します。
AIに回答を渡す前にも、同じものを外しておきます。どこまで外すかは、社内の取り決めに従ってください。
4つ目の質問「少ない意見は、どこに入ったの?」
「その他」と、件数の少ない見出しは、人が全部読みます。
件数の多い見出しは、報告の中心になります。
けれど、すぐに対応が要る声は、少ない意見の中に混ざっていることがあります。
たとえば、安全にかかわる指摘や、強い苦情、利用をやめるという声です。
こうした回答は、件数の大小で扱いを決めず、見出しとは別に拾い上げて、報告の中で分けて書きます。
報告には、分け方・数え方・原文を一緒に出す
4つの質問の答えを用意したら、報告資料には、一覧と一緒に次のことを書いておきます。
どの設問の、いつの期間の回答か
分け方(見出しと、それぞれの入れる条件)
件数は人が番号から数えたもので、1つの回答が2つ以上の見出しに入ることがある
原文の例(人が選んだもの)
「その他」と少ない意見の中から、別に拾い上げた声
AIに任せたのは、見出しの候補と仮の振り分けまで
こうしておくと、冒頭の質問が来ても、資料の中で答えられます。
結論
AIの分類は、分け方の候補と仮の振り分けまで。件数と原文は、人が確かめてから報告に使います。
今日やる一歩
手元にあるアンケートの自由回答から、名前などを外したうえで、今日のうちに自分で全部読み返せる量だけを取り出します。
回答に通し番号をつけてAIに渡し、件数ではなく、見出しごとの番号の一覧で返してもらってください。
そのうち、見出しを1つ選び、中に入った回答を、原文で全部読みます。
見出しの名前と合わない回答が見つかったら、その見出しの「入れる条件」を、自分の言葉で1行書き直してみてください。
はじめての方へ(このnoteで書いていることと、記事の一覧)https://note.com/bansoai/n/n2227a286c19b
AIのまとめを、そのまま人に渡さない。
これは、会議の議事録をAIに要約させるときと、近い考え方です。
共有する前に人が確かめる考え方を、別のnoteにしています。
まず、無料の11本です。
AI翻訳で取引先メール。自然な訳ほど、送る前に確かめる
数字と約束の文を、人が元の日本語と照らし合わせる考え方。(無料)
https://note.com/bansoai/n/n4f33affd0e70
AIで求人票の下書き。頼み方を3段階で直し、条件の欄は人が書く
条件の欄をAIに埋めさせず、人が書く考え方。(無料)
https://note.com/bansoai/n/n6c96235d0071
AIで問い合わせの返信を下書きする前に。よく出る5つの疑問と答え
問い合わせの答えを、社内の材料と人が決める考え方。(無料)
https://note.com/bansoai/n/n10a95aa1cc2d
AIで手順書を作るときの、4つのつまずきと直し方
社内の手順書を、AIに並べさせ、中身は人が書く考え方。(無料)
https://note.com/bansoai/n/nc620b00c2c14
AIで議事録を要約する手順。共有前に人が入る3か所
会議の要約を、共有する前に人が確かめる考え方。(無料)
https://note.com/bansoai/n/n27f4eac64b0f
広告文のNGワードチェックを機械に任せる。止まった言葉を、人が見直す3つの場面
機械が止めた言葉と、止めなかった言葉を、人が見直す考え方。(無料)
https://note.com/bansoai/n/n5af8e79e2b50
入札の見直し案をAIに出させるとき、反映する前に決める4つ。お金が動く設定は「案まで」で止める
お金が動く設定を「案まで」で止める考え方。(無料)
https://note.com/bansoai/n/n330a1b8152c6
広告運用でAIに任せていい作業と、人が確かめる作業の分け方。数字が別の期間だったことがある
人が自分の目で見る場所を決める考え方。(無料)
https://note.com/bansoai/n/n388cbc7b1fd9
AIに「書き込みました」と2回言われた。ファイルは変わっていなかった
報告を、確かめられる記録で照合する考え方。(無料)
https://note.com/bansoai/n/n9a0d3605e68a
Claude Codeに「できません」と言われた。別の場所では、できていた。確かめる3つの問い
「できない」の誤答の記録と、確かめる3つの問い。(無料)
https://note.com/bansoai/n/n12c6b086562f
禁止ルールを入れすぎたら、AIが自分の仕事まで止めた
許可と禁止を、あとで直せる形にするために先に決めること3つ。(無料)
https://note.com/bansoai/n/nef1e24fa9622
あわせて、任せる範囲を広げたときに出てくる悩みを、2本に分けました。こちらは100円です。
どれも1本だけで読めるように書いています。
必要なものだけ選んでください。
Claude Codeのサブエージェントが、頼んでいないことまでやる。「やらせないこと」を書く5つの型
禁止の書き方5つの型と、9つの問い、空欄のテンプレート。
https://note.com/bansoai/n/n66f9d1e6a820
CLAUDE.mdを書いたのに、守られない。見直したら、上の層のファイルが存在しなかった
上の層のファイルが存在しなかった記録と、置き場所を確かめる2点。
https://note.com/bansoai/n/nda0f83766b4e
有料の2本は、Claude Codeの有料プランを使っている方が前提です。
対象のプランと料金は、公式サイトで確認してください。
向いていない人と返金の扱いは、それぞれの無料部分に書いてあります。
最後に、資料を1つ用意しています。
下のLINEに登録すると、任せた仕事が続くかを確かめる診断シートが自動で届きます。登録済みの方は、トークで『診断シート』と送ってください。
https://utage-system.com/line/open/GZeMG1yxxWfj?mtid=z9IgRrL38sgN