メインコンテンツへスキップ
見出し画像

なぜ、仕上がって見えるAIの答えほど疑われなくなるのか、Claude AcademyのAI活用力の1つ「評価力」を実証データから考える

    AIに作ってもらった提案書を、上司に見せる前に、自分の目でどれだけ確認したでしょうか。

    自分で一から書いた下書きなら、出す前に読み返すはずです。

    「この数字、どこから出したんだっけ」「この結論、前提が変わったら崩れないか」。

    ところが同じ内容が、整った見た目でAIから返ってくると、その読み返しをしないまま、そのまま使ってしまう――そんな経験に心当たりはないでしょうか。

    前回、「なぜAIは、聞き返すと間違えるのか」というテーマで、AIに聞き直すことがかえって正しい答えを崩してしまう現象を扱いました。

    今回はその手前にある、もっと根本的な問いを扱います。そもそも、なぜ聞き直そうとすら思わなくなるのでしょうか。

    Claude Academyが「評価力」と呼ぶ考え方を手がかりに、探ってみます。

    そもそも「評価力」とは何か

    Claude Academyは、評価力(Discernment)を3つの視点に分けて説明しています。

    Product Discernment — 出てきた成果物そのものの質を評価すること。正確か、適切か、一貫しているか。

    Process Discernment — AIがどういう道筋でそこに辿り着いたかを評価すること。論理の飛躍はないか、考慮すべき点を見落としていないか。

    Performance Discernment — やり取りの中でのAIの振る舞いを評価すること。今の目的に対して、そのコミュニケーションのスタイルは合っているか。

    どれだけ的確に指示を出せても、返ってきたものを検証できなければ、最後の質は上がりません。指示を出す技術と、返ってきたものを見る技術。この2つは、セットで働きます。

    この「読み返さない」という感覚には、裏付けとなるデータがあります。

    見た目が仕上がっているほど、疑わなくなる

    Anthropicは2026年2月、「AI Fluency Index」という調査結果を公開しました。Claude.ai上での実際の会話9,830件を、1週間分抽出して分析したものです。

    分析の軸になったのが「Artifact」です。コードや文書、インタラクティブなツールなど、チャットの返答とは別枠で、独立した成果物として出力されるClaude.aiの機能を指します。

    会話にこのArtifactが含まれるかどうかで、ユーザーの振る舞いがどう変わるか。そこを比較しています。

    Artifactが絡む会話では、目的を明確に伝える、例を示す、フォーマットを指定する。そうしたAIへの指示は、むしろ丁寧になっていました。

    ところが同じ会話で、評価にあたる行動は、3つとも下がっていたのです。

    • 事実確認をする割合:9.2% → 5.5%

    • AIの推論に疑問を投げかける割合:16.2% → 13%

    • 文脈の欠落に気づく割合:21% → 15.8%

    Anthropicはこの結果について、こう分析しています。

    「Claudeが、磨き上げられた、機能して見える出力を作っているからかもしれない。作業が完成して見えれば、ユーザーはそれ以上疑う必要がないと感じてしまう」。

    指示は丁寧になっているのに、検証は甘くなる。その逆転が、数字にはっきり出ています。

    これは、AIに限った話ではない

    この現象は、Anthropicの社内データに限った話でも、生成AIに限った話でもありません。

    2024年の学術研究では、ChatGPT・音声アシスタント・Wikipediaで同じ情報を提示したところ、対話形式の方が静的なテキストより不正確さを見抜きにくく、この差はブランド名を出しても隠しても変わりませんでした。

    人が自動化された仕組みを相手にするときにも、以前から同じ傾向が報告されています。AIの診断支援で提案が誤っていた場合、経験の浅い医師ほどその誤りに引きずられて正答率を落とす、という研究もその一例です。

    疑わない前提が、AI相手には裏目に出る

    ここまで見てきたどの例も、中身を確かめる前に「大丈夫そうだ」という判断が先に済んでしまっています。形式や状況だけで、結論が出てしまっている。

    やっかいなのは、対話という形式については、この判断が人間同士なら正しく働いているということです。

    人と話すとき、私たちは「相手は基本的に誠実に話そうとしている」という前提を無意識に働かせながら会話を進めています。この前提のおかげで、いちいち相手の発言の真偽を疑わずに、会話がスムーズに進みます。

    ところが、この前提を、対話的に見えるAIに対してもそのまま適用してしまうと、話が変わってきます。

    つまり、「AIだから疑わない」という単純な話ではないのかもしれません。人と話すときに身につけた、会話を円滑に進めるための習慣。それが、対話的なAIに対してもそのまま働いてしまう。

    会話を、切り上げない

    同じ調査には、その逆をいく数字もありました。

    一度の回答で終わらせず、フォローアップの質問を重ねたり、内容を練り直したりしながら対話を続ける――そうした反復のある会話は、全体の85.7%を占めていました。

    そして反復のある会話は、反復のない会話に比べて、AIの推論に疑問を投げかける割合が5.6倍、文脈の欠落に気づく割合が4倍にもなっていました。

    評価力を鈍らせているのは、早々に会話を切り上げてしまうことなのかもしれません。

    仕上がって見える答えを前にしたときこそ、もう一往復する。データを見るかぎり、そこが分かれ目になっています。

    評価力の3つの視点を、具体的な問いに変える

    冒頭の提案書の場面に、3つの視点をあてはめてみます。

    Product — この提案書の数字は、どこから出てきたものか。前提条件を確認したか。

    Process — AIはどういう根拠でこの結論に至ったか。都合の良い情報だけを拾っていないか。

    Performance — AIは、自信ありげな調子で書き切っていなかったか。その自信と、内容の正しさは別物です。

    3つ全部でなくていい。「Product」の問いを一つ差し込むだけで、自分の下書きになら当然していたはずの読み返しが、そこで戻ってきます。

    まとめ

    AIへの指示をどれだけ磨いても、返ってきたものを検証しなければ、その精度は生きません。

    AIの返答を見て「良さそうだ」「これで十分だ」と感じた、まさにその瞬間に、一呼吸置いて、Product・Process・Performanceのうちどれか1つだけでいいので、声に出して問い直してみてください。

    一番疑いたくなくなる瞬間にこそ、一つだけ問いを差し込む。

    そこから会話が続けば、それがそのまま、評価力が働いている状態です。


    ご覧いただきありがとうございます。よかったらこちらもどうぞ。

     
     

    Marcus

     
     
    はじめまして。 このnoteには、AIのこと、ねこのこと、そして日々の小さな気づきを綴っています。 難しいことをやさしく、身近なことを少しだけ深く。そんな記事を書いています。 人とAIを、やさしい言葉でつなぐ。そんなnoteです。

    あなたへのおすすめ