メインコンテンツへスキップ
見出し画像

なぜAIは、聞き返すと間違えるのか、Claude AcademyのAI活用力の1つ「記述力」を6つの技術から考える

    この記事は、もともと別のテーマを調べている途中で生まれました。

    「バイブコーディングのように、会話しながらAIと作業を進めるやり方は、なぜうまく機能するのか」ということを、音声で話しながら調べていたときのことです。

    関連する研究を辿っていくうちに、思いがけない論文に行き当たりました。

    ドイツ・ビーレフェルト大学の研究チームが2026年に発表した研究(Lachenmaier et al.)です。複数のAIモデルに対して、一度出た答えに「本当に合っている?」と聞き直したときの反応を比較したところ、答えが正しかったにもかかわらず、聞き直されただけで誤りに変わってしまうケースが一定数見つかった、というものでした。

    最初は、調べていたテーマとは関係のない脱線だと思っていました。ですが考えるほど、これは記述力そのものの話だと気づきました。

    言い直しは、必ずしも理解を正しい方向に近づけるとは限りません。聞き直しが逆効果になる場面で重要なのは、AIに何度も言い直すことより、「何が違うのか」をこちらから記述できることです。

    ここから、Claude Academyが示す「記述力」の技術を手がかりに、この謎を掘り下げていきます。まずは、そもそもAIへの指示をどう組み立てるかという基本から見ていきましょう。

    記述力を、もう一段掘り下げる

    以前、記述力(Description)には3つの視点があると紹介しました。何を作ってほしいか(Product)、どう取り組んでほしいか(Process)、どう振る舞ってほしいか(Performance)の3つです。

    今回はさらに一歩踏み込んで、その3つを実際の指示にどう落とし込むか、という技術の話をします。

    Claude Academyの教材には、記述力を鍛えるための6つの基礎技術が示されています。まずはテキストで指示する場合の基本を整理し、そのあとで音声入力の場合を別に考えます。

    テキスト入力の基本:6つの技術

    文脈を与える 何を求めているか、なぜそれが必要か、関連する背景情報を含めて伝えます。目的が伝われば、AIは求められている方向性を推測しやすくなります。

    例を示す 求める出力のスタイルや形式を、実例で示します。言葉で説明するより、1つの実例の方が速く正確に伝わることがあります。

    制約を明確にする 形式・長さ・条件などを明示します。指定しなければ、AIは自分なりの基準で長さや形式を選びます。

    複雑なタスクを分解する 多段階の推論が必要な作業は、ステップごとに導きます。一度に全部を求めるより、途中の筋道を指定した方が精度が上がります。

    先に考えさせる 出力する前に、考える余地を与えます。いきなり結論を書かせるより、途中の検討を挟んだ方が誤りに気づきやすくなります。

    役割やトーンを定義する どう振る舞い、どう話してほしいかを指定します。専門家として答えてほしいのか、初学者向けに噛み砕いてほしいのか、この指定だけで出力の質が変わります。

    具体的にはどう動くか

    たとえば、「この提案書を要約して」という指示を考えます。これだけでは、AIはどの程度の長さで、誰向けに、何を優先して要約すればいいか分かりません。

    6つの技術を使うと、次のように具体化できます。

    文脈 — 「来週の役員会議で使う要約」という目的を添えます。

    制約 — 「A4半分、3つの要点に絞る」と長さと形式を指定します。

    役割 — 「財務に詳しくない読み手にも伝わるように」と読み手を想定した振る舞いを指定します。

    先に考えさせる — 「要約する前に、提案書の中で最も判断に影響する箇所を3つ挙げてから、それをもとに要約して」と、思考の順序を指定します。

    指示が具体的になるほど、出てきた要約を評価する基準も具体的になります。「なんとなく違う」ではなく、「制約で指定した3点のどれが抜けていたか」を確認できるようになるからです。

    音声入力の場合

    ここまではテキストで指示する場合の話でした。ここからは、話して指示する場合を見ていきます。

    Claudeアプリには、音声に関する機能が2つあります。一つはディクテーションで、話した内容がそのままテキストに変換され、入力欄に文章として反映されます。もう一つは音声モードで、話しかけるとClaudeが声で返答する、双方向の会話機能です。

    この二つは似ているようで、実は性質の異なる問題を抱えています。順番に見ていきます。

    まずディクテーションについてです。6つの技術をディクテーションに当てはめると、向き不向きが分かれるように思います。

    話し言葉は、経緯を語りながら要求に至る流れに向いています。「〜なので、〜したい」と理由から話し始められる分、文脈を与えることは口頭の方がむしろ自然にできるかもしれません。役割やトーンを定義するも、短い宣言で済むため入力方法による差は小さいはずです。

    例を示すは、テキストを貼り付けるような正確さを話し言葉で再現するのは難しくなります。

    制約を明確にするも、数値や書式のような精密な条件は話し言葉では曖昧になりやすく、文字起こしの誤変換という別のリスクも加わります。複雑なタスクを分解するは、話しながら順序立てて構成を保つ難しさがあります。

    ここは私自身の見方であり、公式に裏付けられたものではありません。

    ただ、ChatGPTを組み込んだ音声アシスタントを使った調査(Mahmood et al., 2024)では、書き起こしの誤りや聞き取り漏れによる会話の破綻がたびたび起き、ユーザーが言い直しや繰り返しで対応する様子が報告されています。文字起こしを送信前に見直す一手間があるかどうかが、こうした破綻の起きやすさを左右している可能性はありそうです。

    次に、双方向の音声モード、つまり会話しながら指示を詰めていくやり方についてです。

    「AIがある程度理解してくれるなら、会話で補正しながら進めればいい」という考え方は、一見合理的に思えます。実際、旧世代の音声アシスタントに比べると、大規模言語モデルは聞き取りの失敗を文脈から大きく補ってくれます。

    ただし、冒頭で触れた「聞き直すと答えが変わる」現象が、ここにも影を落とします。

    同じLachenmaier et al.の研究では、聞き直し方にも精度の差が見られました。あいまいに「本当に合っている?」と聞く場合と、疑わしい箇所を名指しして聞き直す場合を比較したところ、結果はモデルによって差があり、Mistralでは名指しの方が正答を保持する割合が明確に高かった一方、Claude・GPT・Phiは聞き方によらず比較的安定していました。名指しでの聞き直しが効く場面はあるものの、すべてのAIに一様に効くとまでは言えません。

    整理すると、音声入力には二つの異なる課題が重なっています。

    一つは、ディクテーションにおける精密さの弱さで、これは送信前の見直しで補えます。もう一つは、会話的なやりとりにおける言い直しの不安定さで、これは音声かテキストかを問わず起こり、結果を検証する手立てがあるかどうかで影響の大きさが変わります。

    話した内容がそのまま文章になるため、タイプした文章に比べて見直されにくい、という運用面の傾向も考えられますが、これは裏付けのある話ではなく、あくまで仮説です。

    まとめ:なぜ聞き直しは逆効果になるのか

    冒頭で触れた謎に戻ります。AIは、聞き直すと正しい答えを誤りに変えてしまうことがあります。

    ここから先は研究そのものが示した結論ではなく、私自身の見方です。鍵は「結果をその場で検証できるかどうか」にあるのではないかと考えています。

    たとえば、会話しながらコードを書き進める、いわゆるバイブコーディングでは、AIが言い直しに応じて出力を変えても、実際に動かせばすぐに正誤が分かります。会話的なやりとりの不安定さを、実行結果という客観的な検証手段が補っているわけです。

    正解が一つに定まらない、文章の推敲や込み入った指示の調整のような作業では、この補正が効きません。曖昧に「もう一回考えて」と頼むのではなく、どこが望んだ方向とずれているかを具体的に言葉にする必要があります。

    記述力の3つの視点(Product・Process・Performance)は、何を伝えるべきかの地図です。6つの技術は、それをどう言葉にするかの道具です。そしてテキストか音声かという入力方法は、その道具の使いやすさを左右します。

    音声入力については、二つの層で考える必要があります。ディクテーションの精密さは見直しで補えますが、会話的なやりとりの不安定さは、結果を検証できるかどうかに左右されます。

    バイブコーディングがうまく機能するのは、話し方が優れているからではなく、実行結果がその場で正誤を教えてくれるからです。文章のように正解が一つに定まらない作業では、同じようにはいきません。

    指示が曖昧なまま結果だけを評価しようとすると、何がずれていたのか分からなくなります。

    まず、この六つのうちどれが指示に含まれていなかったか、次にどちらの入力方法を使っているか、そして会話で詰めていくなら、その結果を確かめる手立てがあるかどうか。この三点を振り返ることが、記述力を鍛える最初の一歩になるはずです。


    最後まで読んでいただきありがとうございます。
    よろしければ、こちらもどうぞ。

     
     

    Marcus

     
     
    はじめまして。 このnoteには、AIのこと、ねこのこと、そして日々の小さな気づきを綴っています。 難しいことをやさしく、身近なことを少しだけ深く。そんな記事を書いています。 人とAIを、やさしい言葉でつなぐ。そんなnoteです。

    あなたへのおすすめ