メインコンテンツへスキップ
見出し画像

〖AI基礎研究 16-6〗人間の評価とAI評価を使い分ける|人とAIで、評価を支え合う

    AIを難しい専門用語のままではなく、エステティシャン・美容師・サロン経営者が、日々の仕事と結びつけて無理なく学ぶための実践マガジンです。私(森川慎也)が自ら学び、確かめ、美容業界の言葉へ翻訳。全21章・116の学習区分を、現場のイラストと具体例で、原則1日1学習ずつ積み上げます。AIとは何かから、プロンプト、ワークフロー、AIエージェント、マルチエージェントまで段階的に学習。人にしかできない価値を大切にしながら、AIを仕事と経営に活かす力を、ともに育てる研究室です。

    前回の振り返り

    前回の16-5では、入力、実行経路、出力、評価、変更点、再試験結果を結びつけ、変更前後をたどれる記録を作りました。

    架空の時間確認機能で、回答へ内訳と対応範囲を加える計画を考えました。目標の回答例と実際の出力を分け、改善だけでなく悪化や未確認も残すことが大切でした。

    今日は、その記録を誰が、どう評価するかを考えます。人が現場の意味を確かめる仕事と、AIが多くの回答を比較する仕事を、目的に応じて組み合わせましょう。

    今日の結論

    人間評価は意味・配慮・現場性に強く、AI評価は大量・反復に強いため、目的に応じて組み合わせます。

    これは、人もAIも必ず正しいという意味ではありません。大切な品質基準は人が定義し、AIの評価を人の判断と照合しながら使います。

    覚えておきたい一文は、「AI評価だけで、最終合否を決めない。」です。

    AIに比較を手伝ってもらう場合も、根拠のない項目は未確認とし、重大失敗を総合点へ埋もれさせない基準を引き継ぎます。

    今日の目標は、評価項目ごとにAIへ任せる作業、人が確かめること、必要な記録を分けた役割分担表を作ることです。

    サロンの具体例

    今回も、店舗Aの受付スタッフが使う、架空の時間確認機能を取り上げます。施術60分と初回の追加30分から合計90分と内訳を返し、予約登録や送信は行わない設定です。

    次の二つは、評価の練習用に用意した回答例です。

    回答

    架空の文章

    A

    合計90分です。

    B

    施術60分+初回の追加30分で、合計90分です。空き状況の確認や予約登録は行っていません。

    AIには、同じ基準で合計、単位、内訳、対応範囲の記載を比較してもらえます。

    一方、受付スタッフが忙しい場面で必要な情報を読み取り、予約確定と取り違えずに次の対応を選べるかは、実際に使う人へ確かめたいことです。

    二つの文章は実装を動かした結果ではありません。また、文章に「登録していません」とあるだけでは、実際の操作まで確認できません。実行記録がなければ、その点は未確認です。

    初回時間の未設定、負の値、0、範囲外の登録依頼への対応も、前回までの要件を保ちます。正常な回答だけを比べて、機能全体を合格にはしません。

    今日の図解

    画像

    図解の読み方

    左下のスタッフとお客様は、必要時間を確認するサロンの場面です。評価の出発点は、この仕事で何を守り、何を分かるようにするかを決めることです。

    中央のボードには「人間の評価」と「AIの評価」を並べています。人間側の「意味・配慮・現場性」、AI側の「大量・反復」は、それぞれ活かしたい特徴です。どちらかが上位で、もう片方が不要という図ではありません。

    共通の土台に「同じ基準・同じ記録」を置いています。違う資料を見て付けた点数を、そのまま比べないためです。

    右側の三枚は「基準は人が決める」「AIで比較を助ける」「最後は人が判断」です。下部の「AI評価だけで、最終合否を決めない。」と合わせて読んでください。

    詳しい解説

    1 人は、仕事で守りたい品質を言葉にする

    何をよい回答とするかは、使う仕事によって変わります。今回なら、合計が正しいことに加え、内訳が分かり、時間確認と予約確定を混同しないことが重要です。

    AIへ採点を頼む前に、人が目的と合格条件を決めます。前回の五項目を、その仕事で確認できる言葉へ具体化します。

    項目

    今回、人が決める基準例

    正確性

    合計、単位、内訳、行動の説明が要件と合う

    完全性

    必要な合計、単位、内訳、範囲の説明がそろう

    安全性

    不足値を勝手に補わず、対象外の操作をしない

    有用性

    スタッフが結果を理解して、次の対応を選べる

    再現性

    決めた反復条件で、必要な品質が保たれる

    「丁寧な回答を高く評価して」だけでは、文章の印象へ偏ることがあります。何を見れば満たしたと判断できるか、例と根拠をそろえます。

    AIへ基準案を作ってもらうことはできますが、現場の要件と合うかを確認し、採用する基準を決めるのは人の役割です。

    2 AIには、基準に沿った比較や整理を手伝ってもらう

    AI評価では、決めた基準と対象の回答を渡し、項目ごとの不足、該当箇所、判定理由の要約を整理してもらえます。

    今回のAとBなら、「内訳が書かれているか」「予約登録を行ったと説明していないか」などを、同じ質問で比べます。

    AIへ依頼する作業

    求める出力

    必要項目の比較

    どの項目があり、どれが不足しているか

    複数回答の整理

    同じ基準で見た違いと該当箇所

    問題候補の抽出

    誤解や条件違反につながる文章

    未確認の整理

    与えた資料だけでは判断できない項目

    反復記録の比較

    各回で変わった点、保たれた点

    ただし、合計90かのように明確な数値で確かめられる項目は、計算や決めたルールで検査する方法も使えます。自動化する評価が、すべてAIによる判定である必要はありません。

    AIが出した点数や問題候補も、確認対象です。「AIが高く評価したからよい回答」とせず、根拠が基準に対応しているかを見ます。

    3 人は、実際の理解と現場での使いやすさを確かめる

    AとBを文章だけで比べると、Bの方が必要項目を多く含みます。しかし、そのことだけで、現場で使いやすいと実証したわけではありません。

    受付スタッフへ試してもらうなら、「何分必要だと理解したか」「予約は確定したと思ったか」「次に何を確認するか」を尋ね、実際の受け取り方を残します。

    人が確かめること

    見たい結果

    意味

    必要時間と予約確定の違いを理解できるか

    配慮

    確認が必要なとき、責められたと感じず次へ進めるか

    現場性

    忙しい場面でも必要な情報を見つけられるか

    利用者への影響

    誤った案内や対象外の操作につながらないか

    これらは、今回の確認計画です。利用者に確かめていないなら、文章を読んだ予想と、本人の確認結果を分けます。

    人の評価も、経験や好みで違う場合があります。「自分には分かる」で終えず、実際に使う人の理解と、事前に決めた基準へ戻ります。

    4 同じ資料で、人とAIの判定を照合する

    AIの評価を使う前に、人が評価した少数の例を用意し、同じ基準と資料でAIがどう判定するかを比べます。

    OpenAIの評価設計資料でも、自動採点を人のフィードバックと照合して調整する考え方が示されています。点数の一致だけでなく、どの根拠を読んでいるかを確認します。

    そろえるもの

    今回の考え方

    対象資料

    同じ入力、回答、必要な実行記録

    評価基準

    同じ版の五項目と重大失敗の定義

    判定の状態

    合格、不合格、未確認を分ける

    根拠

    対象資料のどの部分を見たか

    人の確認

    AIと判断が違った箇所を読み直す

    例えば、人はBの文言に「登録していません」とあるだけでは操作の有無を判断しないのに、AIが安全性を満点にしたなら、資料の範囲を越えた採点になっていないかを調べます。

    人とAIの評価が一致した例だけを集めず、食い違いの例も残します。基準が曖昧なのか、資料が不足しているのか、判定の誤りなのかを分けます。

    5 AIの点数を、根拠なしに採用しない

    AIによる評価にも偏りや誤りがあり得ます。長い文章や、比較する回答の提示順が判断へ影響する場合があるため、必要な内容を基準に沿って見ます。

    AとBの比較でも、「Bは長いから高品質」とだけ評価すれば、今回の目的を十分に確かめていません。どの情報が必要で、それが書かれているかを示してもらいます。

    また、回答を作ったAIに自己評価を頼んでも、それだけで独立した確認が済むわけではありません。別のAIを使う場合も、基準と根拠の確認は必要です。

    受け取った評価

    人が確認すること

    「高品質です」だけ

    どの項目と根拠で判断したか

    回答文だけで安全性満点

    実行や権限の記録があるか

    一回答だけで再現性満点

    同じ条件での反復記録があるか

    すべての項目を採点済み

    根拠がない項目を未確認にしているか

    採点理由には、参照した箇所と短い説明があれば確認を進められます。もっともらしい長文の説明だけで、評価の正しさを判断しないようにします。

    6 重大失敗と最終合否は、人が根拠を見て判断する

    今回の機能では、許可のない予約登録や送信、未実行なのに登録済みと伝えること、未設定の初回時間を勝手に補って確定することを、重大失敗の例として引き継ぎます。

    AIへ問題候補を探してもらえますが、最終的には対象の回答、実行履歴、状態を照合して判断します。

    評価の段階

    AIの役割

    人の役割

    事前準備

    基準案や確認項目の整理

    要件と合格条件を決める

    比較

    項目の不足や違いを整理

    根拠の妥当性を確認する

    現場確認

    記録の整理を助ける

    利用者の理解や影響を確かめる

    最終判断

    判定材料と未確認をまとめる

    重大失敗、項目別の合否、利用範囲を決める

    AIの評価が高くても、重大失敗があれば合格にしません。必要な資料がなければ、確認を追加するまで保留とします。

    人が判断するということは、証拠を見ずに承認することでもありません。技術的な確認が必要な箇所は担当者へ確かめ、理由を残した判断にします。

    7 評価した方法も、改善記録へ残す

    前回の六項目の記録へ、誰が、どんな基準と方法で評価したかを加えます。

    記録項目

    残す内容

    対象

    入力、回答、実行記録、対象の版

    基準

    評価基準の版、重大失敗の定義

    AI評価

    使ったモデルや設定、評価の指示、結果

    人間評価

    誰が何を見て判断したか

    食い違い

    判定の違い、根拠、不足していた資料

    最終判断

    合否、保留、必要な追加確認

    再評価

    基準や実装の変更後に、同じ対象でどうなったか

    AIや評価の指示を変更すると、同じ回答でも採点が変わる場合があります。機能が改善したのか、評価方法が変わったのかを区別できるようにします。

    第16章では、最小機能版を決め、正常と例外を試し、基準で評価し、改善を記録する流れを学びました。人とAIの評価を組み合わせることも、この循環の一部です。

    よくある誤解

    人の評価だけが正しく、AIの評価は使えない

    人も判断が分かれる場合があります。AIの比較や整理を活かし、同じ基準と根拠で照合します。

    AIなら、いつでも公平で同じ採点になる

    偏りや結果の違いがあり得ます。人の評価と比べ、方法や条件も記録します。

    別のAIが高得点を付ければ、独立した検証は完了する

    根拠の妥当性、必要な実行記録、利用者への影響を確認します。

    回答文がよければ、実際の操作も安全と判定できる

    文章と実行を分けます。見えていない操作は未確認です。

    最後に人が承認ボタンを押せば、十分な人間評価になる

    必要な資料と根拠を読み、現場での理解や重大失敗を確認した判断が必要です。

    今日の小さな実践

    五〜十分で「人とAIの評価分担表」を作ります。今日は表の作成と文章例の読み比べまでです。実サービスの操作や、機能全体の合格認定は行いません。

    本文のAとBを使い、正確性、完全性、安全性、有用性、再現性の五項目について、AIへ比較してもらうこと、人が確かめること、必要な根拠を書きます。

    AIへは、次のように依頼できます。

    架空の時間確認機能の回答を比べます。入力は施術60分と初回30分です。Aは「合計90分です。」、Bは「施術60分+初回の追加30分で、合計90分です。空き状況の確認や予約登録は行っていません。」です。合計、単位、内訳、対応範囲の記載を比較し、該当する文章を示してください。実行記録、利用者の確認、反復記録は渡していません。その資料が必要な安全性、有用性、再現性は未確認として分けてください。人が追加確認することを整理し、最終合否は出さないでください。

    返ってきた内容を読み、文章に書かれていることと、実際に確認できたことが混ざっていないかを確かめます。

    最後に、重大失敗の確認と最終判断を誰が担当するかを書きます。成果物は、評価の役割分担、必要資料、未確認事項が対応した一枚の表です。

    理解度チェック

    1. 人間評価で活かしたい視点は何ですか。

    2. AI評価で手伝ってもらいやすい作業は何ですか。

    3. 回答文だけで、安全性や再現性をすべて確認できますか。

    4. 人とAIの判定が食い違ったら、どうしますか。

    5. AIの総合点が高ければ、重大失敗があっても合格にできますか。

    解答

    1. 意味、配慮、現場性などです。実際の利用者の理解や影響を確かめます。

    2. 決めた基準に沿った多数の回答の比較、項目の不足や違い、根拠の整理などです。

    3. できません。実行記録や、同じ条件での反復記録などが必要です。

    4. 同じ資料と基準を見ているか、根拠や不足情報、基準の曖昧さを確認します。

    5. できません。重大失敗と項目別の合否を分け、人が根拠を確認して判断します。

    今日のことば

    人間評価:人が基準と資料に基づき、意味や現場での利用も含めて判断すること。

    AI評価:決めた基準に沿って、AIに回答や記録の比較・判定を手伝ってもらうこと。

    根拠:その判定を支える、回答の該当箇所や実行記録など。

    判定の照合:同じ対象への評価を比べ、違いの理由を確かめること。

    最終合否:項目別の基準、重大失敗、未確認事項を踏まえ、対象範囲で使えるかを判断すること。

    覚えておきたい一文は、「AI評価だけで、最終合否を決めない。」です。

    現場への問い

    お客様の表情を見て、「この説明では、まだ不安が残っているかもしれない」と感じることがあります。その気づきを、単なる勘で終わらせず、何を確かめたいかという言葉へ変えると、AIと共有できる基準になります。

    多くの回答を比べる手間はAIに助けてもらいながら、言葉を受け取る人の毎日を思い浮かべることも忘れずにいたいものです。

    あなたがAIに評価を手伝ってもらうなら、どの比較を任せたいでしょうか。そして、最後に自分の目と現場の声で確かめたいことは何でしょうか。

    次回予告

    次回は、17-1「単一エージェントとマルチエージェントの違い」です。一つの主体が進める構成と、役割の異なる複数が連携する構成を比べます。数を増やすことを目的にせず、必要な役割分担と複雑さから考えます。

    学習の進捗

    第16章「ASO単一AIエージェントの制作・評価・改善」
    16-6「人間の評価とAI評価を使い分ける」
    85/116学習区分

    今回で第16章の六つの学習区分を終えました。次回から第17章へ進みます。

    参考資料

    • AI基礎研究ルーム 森川慎也専用 90日間AIエージェント実践学習教材 Ver.2.0:16-6の結論と説明、17-1の学習項目。

    • AI基礎研究ルーム 90日章別進行ガイド Ver.1.1:第16章の正式名称と到達点。

    • OpenAI Evaluation best practices(評価設計の実践指針):人の評価と自動採点の照合、AI評価における提示順や文章量の偏り。確認日:2026年11月2日。

    • 本連載16-4「回答品質の評価基準をつくる」、16-5「ログと改善記録を残す」:評価項目、重大失敗、根拠と版の記録。

    著者:森川慎也

     
     
    一人・少人数で店舗を営む方へ。美容業界25年以上の経験と、AI・海外研究をもとに、再来店・単価・時間・利益などの経営課題を「今日の一手」に翻訳します。得意分野は美容サロン経営。初めての方は固定記事からお読みください。44310代表。

    あなたへのおすすめ