アンケートの自由記述を改善につなげる:分類軸の決め方とAI分類の検証手順
要約の前に「何を決めたいか」を決める
アンケートの自由記述は、読むだけなら難しくない。難しいのは、回答をまとめて、次の行動を決められる状態にすることである。
たとえば、顧客満足調査に「説明は丁寧だったが、返信が遅くて困った」という回答があったとする。以下で扱う回答や業務場面は、手順を説明するための仮想例である。
この回答を「接客への不満」とまとめると、評価されている説明まで改善対象になってしまう。「対応品質」に分類するだけでも、何を直せばよいかが曖昧である。文章は短くなったが、判断に必要な違いが消えている。
自由記述の整理で先に決めるべきものは、要約の文字数ではない。「この結果を使って、誰が何を決めるのか」である。顧客満足調査なら、問い合わせ対応のどの工程を改善するか。社内調査なら、制度の内容を見直すのか、周知方法を変えるのか。この問いによって、必要な分類軸が変わる。
作業の冒頭に、目的を一文で書いておく。
「今回の分析では、問い合わせ対応の改善対象を選ぶために、顧客が困った場面と、そのときの評価を整理する」
この一文を、分類を増やすか迷ったときの判断基準にする。意思決定に使わない細かさまで分類すると、確認作業が増え、結果も読みにくくなる。
AIには分類と要約の下書きを任せ、人は分類基準を決め、その基準どおりに処理されたかを確かめる。まずは、この役割分担を明確にすることである。
分類軸は「話題」と「評価」を分けてつくる
分類軸を考えるときに起きやすい失敗は、異なる種類のラベルを同じ一覧に並べることである。「料金」「不満」「改善要望」「問い合わせ」が混ざっていると、一つの回答が複数に当てはまり、分類が担当者の感覚に左右される。
最初は、何について述べているかを示す「話題」と、それをどう受け止めているかを示す「評価」を分けると扱いやすい。
話題は、調査の目的に沿った業務や体験の単位で決める。問い合わせ対応なら「返信速度」「説明のわかりやすさ」「解決までの手間」などである。評価は「肯定」「否定」「中立」「判断不能」とし、同じ話題について肯定と否定が併存する場合の扱いも決めておく。要望の抽出が目的なら、「要望の有無」を別の軸として加える。
既存の設問や業務区分を土台にしつつ、実際の回答を少し読んで修正する。最初から全件を読み込む必要はないが、冒頭の回答だけで分類軸を決めるのは避けたい。回答全体から無作為に抽出したものに加え、短文と長文、評価点の高低など、性質が異なる回答も確認する。
次に、ラベルごとの定義をつくる。名前だけでは判断がそろわないため、「含めるもの」「含めないもの」「境界の例」を短い文章で残す。
たとえば、「返信速度」は、問い合わせ後に返答を受けるまでの時間に関する記述を含む、と定義する。一方、返答後に問題が解決するまでの時間は「解決までの手間」に含める、と分ける。「対応が遅い」だけではどちらか確定できないため、推測せず「要確認」にする。
分類を細かくする目安は、分けた結果によって対応策が変わるかどうかである。担当部署も改善策も同じなら、まとめたほうが使いやすい場合がある。反対に、同じ部署でも「説明資料の改善」と「応答体制の変更」では打ち手が異なるため、区別する意味がある。
「その他」と「判断不能」も分けておく。「その他」は内容を理解できるが既存の話題に収まらない回答、「判断不能」は情報が足りず意味や対象を確定できない回答である。この二つを混ぜると、分類軸の不足と回答の曖昧さを見分けられなくなる。
AIに渡す前に、分類の単位と出力の型をそろえる
分類軸が決まったら、回答を処理する単位を決める。一回答に一つだけラベルを付ける方法は簡単だが、複数の論点がある回答では情報が落ちる。
冒頭の例なら、「説明は丁寧だった」と「返信が遅くて困った」を別の意味単位として扱う。元の回答IDを共通で保持し、それぞれに話題と評価を付ける。文章を細かく切りすぎると意味が変わるため、理由や条件を含めて、一つの主張として読める範囲を残す。
作業用データには、回答ID、原文、意味単位、話題、評価、根拠箇所、確認状態を持たせる。原文は保存し、分類結果から戻れるようにする。個人名や連絡先など、分析に不要な情報は入力前に除き、利用が認められた環境で扱う。
AIへの指示は、分類名の一覧だけで済ませず、判断に迷う場合の扱いまで指定する。プロンプトは次の型から始められる。
「以下の自由記述を、添付する分類定義に従って整理してください。一つの回答に独立した論点が複数ある場合は、意味を保って分け、同じ回答IDを付けてください。各論点について、話題、評価、原文中の根拠箇所、要確認の理由を出力してください。原文にない原因や意図は補わないでください。既存の話題に当てはまらない内容は『その他』、情報不足で判断できない内容は『判断不能』としてください。新しい分類名は追加せず、必要な候補は別に提案してください」
根拠箇所は、分類理由の説明とは別物である。AIがもっともらしい理由を書いても、原文と一致していなければ確認には使えない。原文から短く抜き出させ、人が照合できる形にする。
同じ基準を維持するため、分類定義には版を付ける。途中で定義を変えたら、どの回答まで旧基準で処理したかを記録する。これを省くと、同じラベルの中に異なる判断が混ざり、集計の意味が崩れる。
人の検証は「試し分類」と「全件処理後」の二段階で行う
全件をAIに分類させてから誤りを探すと、分類軸そのものの問題まで修正することになる。先に少量で試し、基準が使えるかを確認するほうが手戻りを抑えやすい。
最初の試し分類では、人が先に回答を読み、自分の判断を残す。その後でAIの結果と照合する。AIのラベルを先に見ると、その判断に引っ張られやすいためである。担当者が複数いるなら、同じ回答を別々に判定し、人同士でも解釈が分かれる箇所を探す。
一致しなかった回答は、すぐにAIの誤りと決めない。定義が曖昧なのか、論点の分け方が違うのか、原文だけでは判断できないのかを切り分ける。人同士で判断が割れるなら、まず分類定義を直す必要がある。
たとえば、「説明が詳しすぎて必要な情報を探せない」という回答は、文章量への不満にも、情報の探しやすさへの不満にも見える。この違いが改善策に影響するなら、どちらを採るか、両方を付けるかを定義に加える。そのうえで、影響する回答を再分類する。
試し分類で確認する項目は、次に絞る。
独立した論点を落としていないか
肯定と否定を取り違えていないか
根拠箇所が原文に存在するか
曖昧な内容を推測で埋めていないか
同じ意味の回答を同じ基準で扱っているか
定義が固まったら全件を処理し、二度目の検証に進む。ここでは無作為に抽出した回答と、重点的に確認する回答を分ける。
無作為抽出は、全体にどのような誤りがあるかを見るために行う。重点確認では、「その他」「判断不能」、複数の話題を含む回答、少数しか付かなかった分類などを見る。AIが自信ありとした回答も抽出対象に含める。自己申告の確信度だけでは、正しさを保証できないからである。
抽出数は、総件数と判断の影響に合わせて決める。ただし、確認した範囲は必ず記録する。「無作為に何件、重点的に何件を確認し、何件を修正したか」を残せば、結果の確かさを説明しやすい。重点確認で見つかった誤りの割合を、そのまま全体の誤分類率として扱ってはいけない。
同じ種類の誤りが見つかったら、その回答だけを直して終えず、該当しそうな回答群を再確認する。検証の目的は、目の前の誤りを直すことと、同じ誤りが広がっていないかを確かめることである。
要約は「件数・内容・例外・次の確認」で組み立てる
分類が確定してから、要約に進む。ここで先に決めたいのが、件数の数え方である。
一人が三つの論点を書けば、意味単位は三件になる。しかし、回答者は一人である。話題ごとの広がりを知りたいなら、その話題に触れた回答者数を数える。同じ人が同じ話題を繰り返しても一人と数える。分類した論点数を示す場合は、その旨を明記する。
複数の話題への言及を認めるなら、話題別の件数の合計は回答者数を超えうる。割合を示すときも、分母が調査回答者全体なのか、自由記述を書いた人なのかを明示する。自由記述で多く見られた意見を、回答していない人まで含む全体の意見として扱わないことも大切である。
要約は、集計値と確定した分類結果を材料に、次のように依頼できる。
「確定済みの分類結果と集計値だけを使い、話題ごとの件数と分母、主な意見、異なる意見や条件、次に確認すべき事項をまとめてください。件数は提示した値を転記してください。少数意見を省略する場合も、重大な困りごとは別に残してください。原因と改善案は、回答に明記された内容と、分析者の仮説を区別してください」
たとえば、返信速度への不満が多くても、「担当者の人数が足りない」とは限らない。受付方法、通知の仕組み、回答期限の伝え方など、原因は別途確認が必要である。要約では「返信待ちへの不満が見られる。発生工程は記述だけでは確定できないため、対応履歴を確認する」と書けば、観察と次の行動がつながる。
また、件数が少ないことと、重要度が低いことは同じではない。利用を妨げる問題や深刻な負担を示す記述は、多数意見とは別に確認する。代表的な回答を載せる場合も、典型的な内容かを原文で確かめ、個人が特定される情報を除く。
最後に、人が完成した要約を次の観点で確認する。
件数と分母は集計結果に合っているか
主な意見と例外の両方が残っているか
原文にない原因を断定していないか
未確認事項と修正履歴を残したか
改善候補ごとに担当と次の確認が決まったか
自由記述を整理する仕事は、文章を短くするだけでは終わらない。分類の定義を残し、原文へ戻れるようにし、迷った判断を次回も使える基準に変える。そこまで整えると、AIの処理速度を、改善を決めるための材料づくりに生かせるのである。