
「その他:82%」の円グラフの前で立ち尽くした日——現場の入力を“尋問”にせず、汚れた一次データを救う
※この記事の登場人物・数値・社内の出来事はすべて架空です。「82%」などの数字は説明のための例で、実際の測定結果ではありません。
先に結論
集計を楽にするために、現場の必須入力項目を増やしてはいけません。嘘の構造化データが増え、いちばん価値のある自由記述が消えるからです。
人が入力するのは、確定した最小限の事実と、生の言葉だけにします。そのうえで、構造化はデータ基盤の側で、次の3段階に分けて進めます。
原文をそのまま保全する
ルールで確定できる部分をSQLで整える
残りだけをAIで「推定」として並べて置く
この記事は、次のような方に向けて書いています。
BIで可視化したが、カテゴリの大半が「その他」「未入力」になっている
全角半角や略称の違いで、集計が割れている
「元のデータが汚すぎて分析できない」と感じているデータエンジニア・DX推進担当者
衝撃の円グラフ
設備停止の原因を分析するダッシュボードを作った三高は、レビューの席で固まりました。円グラフが「その他:82%」「未分類:12%」で埋まっていたのです。自由記述欄を見ると、「異音」「なんか変な音」「ガタガタ音」「ベアリング?要確認」と、表記がばらばらでした。
正論という名の暴走
「入力時にコード化されていないのが原因だ」と考えた三高は、日報システムの入力画面を改修し、大分類・中分類・小分類・発生部位など、15個の必須プルダウンを導入しました。選ばないと保存できない仕様です。
1か月後、「その他」は消えました。かわりに、「駆動系_摩耗_初期」が78%を占めるようになりました。喜んだ三高が現場の三村主任に報告すると、冷たい現実を返されます。
「終業間際に、油まみれの手で15個もプルダウンを選べるわけがないだろう。みんな、いちばん上にある選択肢を連打して帰っているだけだ。そのかわり、大事な自由記述のメモは、面倒で誰も書かなくなった」
集計を楽にするために、三高は現場から「生の観察記録」を奪い、嘘の構造化データまで作らせていました。
発想の転換
人間が現場で入力するのは、確定している最小限の事実と、生の言葉だけでいい。構造化するのは、人間の仕事ではなく、データ基盤の仕事だ。三高はそう考え直しました。
3層の設計(推奨)
ここからは、事実ではなく私の「推奨する設計」です。
1. 原文層:書き換えない
現場が書いた原文は、1文字も書き換えずに保全します。品質や監査に関わる記録だからです。保存期間や証跡の要件は、社内規程、業界の規制、専門家の確認が必要です。この記事は、法的な適否を判断するものではありません。
2. 決定論クレンジング層:ルールで確定できる部分
全角半角の統一、型変換、既知の略語の辞書(対応表)への結合などを、SQLで処理します。結果が再現でき、費用も読みやすいからです。
3. AI推定層:残りの自由記述だけ
辞書で拾えなかったものだけを、新しく追加された行について、1回だけAIで分類します。結果は原文を上書きせず、「AI推定(要確認)」と明示した別の列に置きます。確定値と推定値は、画面上でも区別して見せます。
AI分類の注意点
SnowflakeのCortex AI関数には、テキストを分類する AI_CLASSIFY があります。使う前に、次の点を押さえてください。
公式ドキュメントは、入力とカテゴリに英語のプレーンテキストを推奨しています。日本語の現場メモ(略語、擬音、専門用語)での精度は、公式には保証されていません。
利用できるリージョンや、必要なロール(権限)の条件があります。自社の環境で使えるかは、公式ドキュメントで確認してください。
期待するのは「正解」ではなく「候補の提示」です。
導入前に、自社データの一部を人の手で正解付けして、一致率を測ってください。この記事では、日本語の一致率は示せません。測っていないからです。
AI機能の費用は、ウェアハウスの上限を設ける機能(Resource Monitor)の対象外のことがあります。費用の監視は、予算(Budgets)機能など別の仕組みで確認してください。
データ品質の監視
Snowflakeには、Data Metric Functions(DMF)というデータ品質の測定機能があります。NULLの件数や鮮度などを、定期的に測れます。
ただし、Enterprise Edition以上が前提です。契約のエディションを先に確認してください。実行にかかる費用やスケジュールの条件も、公式ドキュメントで確認してから導入を決めます。
導入する条件
「その他」「未入力」が集計の大半を占めている
自由記述には有用な情報があるのに、使えていない
原文を保持したまま、別の列を足せる
導入しない条件
分類の対象が数十件で、人の手で整理したほうが速い
AIの推定を、確定値のように使いたい
原文を保持できない運用になっている
代替案
現場と相談して、必須の選択を3〜4個の大区分に絞る
週に1回、人手でラベルを付ける時間を設ける
AIを使わず、辞書(対応表)を育てるだけで済ませる
失敗条件
AI推定の列が、いつの間にか確定値として集計に混ざる
辞書の更新担当が決まっておらず、古いまま放置される
現場にフィードバックが戻らず、入力が荒れる
「汚いのは現場のせいだ」という見方に戻ってしまう
明日できる最小の一歩
直近の自由記述から100件を抜き出して、人の手で次の2つに分けてください。
辞書(ルール)で拾えるもの
拾えないもの
この比率が、AIを使う範囲を決める根拠になります。拾えないものが少なければ、AIは不要かもしれません。
参考にした公式情報(確認日:2026年11月)
Snowflake公式「AI_CLASSIFY」
Snowflake公式「データ品質チェックの紹介」
Snowflake公式「リソースモニターの操作」
※価格・仕様・提供リージョン・エディション条件は変わることがあります。実際に導入する際は、最新の公式ドキュメントでご確認ください。
公式LINEで簡易診断を受け付けています
「集計の大半が『その他』になっている」
「表記ゆれでカテゴリが割れている」
「現場の入力項目を増やすべきか迷っている」
こうした状況のうち、まず1つの指標に絞って整理したい方向けです。
1つの指標に絞った簡易診断を受け付けています。
公式LINEで「診断」と送ると、5問の診断フォームが届きます。
回答内容を確認し、48時間以内に1指標に絞った簡易コメントをお返しします。※社外秘データや個人情報は送らないでください。