メインコンテンツへスキップ
見出し画像

「その他:82%」の円グラフの前で立ち尽くした日——現場の入力を“尋問”にせず、汚れた一次データを救う

    ※この記事の登場人物・数値・社内の出来事はすべて架空です。「82%」などの数字は説明のための例で、実際の測定結果ではありません。

    先に結論

    集計を楽にするために、現場の必須入力項目を増やしてはいけません。嘘の構造化データが増え、いちばん価値のある自由記述が消えるからです。

    人が入力するのは、確定した最小限の事実と、生の言葉だけにします。そのうえで、構造化はデータ基盤の側で、次の3段階に分けて進めます。

    1. 原文をそのまま保全する

    2. ルールで確定できる部分をSQLで整える

    3. 残りだけをAIで「推定」として並べて置く

    この記事は、次のような方に向けて書いています。

    • BIで可視化したが、カテゴリの大半が「その他」「未入力」になっている

    • 全角半角や略称の違いで、集計が割れている

    • 「元のデータが汚すぎて分析できない」と感じているデータエンジニア・DX推進担当者

    衝撃の円グラフ

    設備停止の原因を分析するダッシュボードを作った三高は、レビューの席で固まりました。円グラフが「その他:82%」「未分類:12%」で埋まっていたのです。自由記述欄を見ると、「異音」「なんか変な音」「ガタガタ音」「ベアリング?要確認」と、表記がばらばらでした。

    正論という名の暴走

    「入力時にコード化されていないのが原因だ」と考えた三高は、日報システムの入力画面を改修し、大分類・中分類・小分類・発生部位など、15個の必須プルダウンを導入しました。選ばないと保存できない仕様です。

    1か月後、「その他」は消えました。かわりに、「駆動系_摩耗_初期」が78%を占めるようになりました。喜んだ三高が現場の三村主任に報告すると、冷たい現実を返されます。

    「終業間際に、油まみれの手で15個もプルダウンを選べるわけがないだろう。みんな、いちばん上にある選択肢を連打して帰っているだけだ。そのかわり、大事な自由記述のメモは、面倒で誰も書かなくなった」

    集計を楽にするために、三高は現場から「生の観察記録」を奪い、嘘の構造化データまで作らせていました。

    発想の転換

    人間が現場で入力するのは、確定している最小限の事実と、生の言葉だけでいい。構造化するのは、人間の仕事ではなく、データ基盤の仕事だ。三高はそう考え直しました。

    3層の設計(推奨)

    ここからは、事実ではなく私の「推奨する設計」です。

    1. 原文層:書き換えない

    現場が書いた原文は、1文字も書き換えずに保全します。品質や監査に関わる記録だからです。保存期間や証跡の要件は、社内規程、業界の規制、専門家の確認が必要です。この記事は、法的な適否を判断するものではありません。

    2. 決定論クレンジング層:ルールで確定できる部分

    全角半角の統一、型変換、既知の略語の辞書(対応表)への結合などを、SQLで処理します。結果が再現でき、費用も読みやすいからです。

    3. AI推定層:残りの自由記述だけ

    辞書で拾えなかったものだけを、新しく追加された行について、1回だけAIで分類します。結果は原文を上書きせず、「AI推定(要確認)」と明示した別の列に置きます。確定値と推定値は、画面上でも区別して見せます。

    AI分類の注意点

    SnowflakeのCortex AI関数には、テキストを分類する AI_CLASSIFY があります。使う前に、次の点を押さえてください。

    • 公式ドキュメントは、入力とカテゴリに英語のプレーンテキストを推奨しています。日本語の現場メモ(略語、擬音、専門用語)での精度は、公式には保証されていません。

    • 利用できるリージョンや、必要なロール(権限)の条件があります。自社の環境で使えるかは、公式ドキュメントで確認してください。

    • 期待するのは「正解」ではなく「候補の提示」です。

    • 導入前に、自社データの一部を人の手で正解付けして、一致率を測ってください。この記事では、日本語の一致率は示せません。測っていないからです。

    • AI機能の費用は、ウェアハウスの上限を設ける機能(Resource Monitor)の対象外のことがあります。費用の監視は、予算(Budgets)機能など別の仕組みで確認してください。

    データ品質の監視

    Snowflakeには、Data Metric Functions(DMF)というデータ品質の測定機能があります。NULLの件数や鮮度などを、定期的に測れます。

    ただし、Enterprise Edition以上が前提です。契約のエディションを先に確認してください。実行にかかる費用やスケジュールの条件も、公式ドキュメントで確認してから導入を決めます。

    導入する条件

    • 「その他」「未入力」が集計の大半を占めている

    • 自由記述には有用な情報があるのに、使えていない

    • 原文を保持したまま、別の列を足せる

    導入しない条件

    • 分類の対象が数十件で、人の手で整理したほうが速い

    • AIの推定を、確定値のように使いたい

    • 原文を保持できない運用になっている

    代替案

    • 現場と相談して、必須の選択を3〜4個の大区分に絞る

    • 週に1回、人手でラベルを付ける時間を設ける

    • AIを使わず、辞書(対応表)を育てるだけで済ませる

    失敗条件

    • AI推定の列が、いつの間にか確定値として集計に混ざる

    • 辞書の更新担当が決まっておらず、古いまま放置される

    • 現場にフィードバックが戻らず、入力が荒れる

    • 「汚いのは現場のせいだ」という見方に戻ってしまう

    明日できる最小の一歩

    直近の自由記述から100件を抜き出して、人の手で次の2つに分けてください。

    • 辞書(ルール)で拾えるもの

    • 拾えないもの

    この比率が、AIを使う範囲を決める根拠になります。拾えないものが少なければ、AIは不要かもしれません。

    参考にした公式情報(確認日:2026年11月)

    ※価格・仕様・提供リージョン・エディション条件は変わることがあります。実際に導入する際は、最新の公式ドキュメントでご確認ください。

    公式LINEで簡易診断を受け付けています

    「集計の大半が『その他』になっている」
    「表記ゆれでカテゴリが割れている」
    「現場の入力項目を増やすべきか迷っている」
    こうした状況のうち、まず1つの指標に絞って整理したい方向けです。

    1つの指標に絞った簡易診断を受け付けています。

    公式LINEで「診断」と送ると、5問の診断フォームが届きます。
    回答内容を確認し、48時間以内に1指標に絞った簡易コメントをお返しします。※社外秘データや個人情報は送らないでください。

    公式LINEはこちら

    あなたへのおすすめ