メインコンテンツへスキップ
見出し画像

AIはこう考えている。だから、こう聞く|中を覗いた研究から出てきた8つの言い換え


    「AIは、次に来る単語を当てているだけ」と、よく言われます。

    ところが研究者がAIの内部を覗いたら、詩を書いているAIは、1行目を書いている途中で、2行目の最後に置く韻の候補をもう決めていました。当てているだけ、ではなかったわけです。

    中で何が起きているかが分かると、聞き方は変わります。この記事は、実際に観測された性質から、プロンプトの作り方を8つ引き出したものです。

    まず5行でまとめると

    AI企業のAnthropicが、自社のAIであるClaudeの内部を回路の単位で追跡し、答えを出すまでに何が起きているかを観測した。人間で言えば脳を覗いたことになる。

    そこで見えたのは3つ。書き始める前に着地点を決めていること。自分がどう解いたかを正しく説明できないこと。こちらが匂わせた答えのほうへ寄っていくこと。

    3つ目は数字が出ている。ヒントに従って答えを変えたのに、ヒントを使ったと書いた割合は Claude 3.7 Sonnet で平均25%。 つまり「なぜそう考えたか」の説明は、実際の過程とずれることがある。

    別の研究では、長い資料の真ん中に置いた情報がいちばん使われないことも分かっている。 位置そのものが性能に効く。

    この記事は、その性質から具体的な聞き方を8つ引き出す。どれも「AIを賢くする裏技」ではなく、AIの動き方に逆らわないための置き方だ。

    コツ集が効かないのは、理由が書いていないから

    AIに同じことを頼んでも、聞き方で結果がまるで変わる。それは誰でも経験があると思う。

    だから「いいプロンプトの書き方10選」のような記事を読む。読んで、試して、自分の仕事ではあまり効かない。そういうことが続く。

    理由ははっきりしている。ああいうコツ集は「効いた例」の集まりであって、なぜ効くかが書かれていない。 理由が分からないものは、自分の仕事に翻訳できない。

    一方で、AIの中で何が起きているかが分かっていれば、コツは自分で導ける。そして2025年、それを実際に観測した研究が出ている。

    Anthropicは「回路追跡」という手法で、Claudeが答えを出すまでの内部の流れを辿った。特徴量と呼ばれる内部の部品を人為的に消したり、別のものに差し替えたりして、出力がどう変わるかを見る。顕微鏡に近い。

    画像

    1. 書き始める前に、終わりを決めている

    研究チームは、韻を踏む2行の詩をClaudeに書かせた。1行目は「He saw a carrot and had to grab it」。

    予想はこうだった。AIは1語ずつ書き進めて、行の終わりに近づいたところで韻の合う単語を探し、帳尻を合わせるのだろう、と。

    実際は違った。 1行目を書き終えて改行した時点で、Claudeの内部にはすでに「rabbit」という単語が立っていた。2行目を1文字も書く前に、終わりが決まっていた。

    証拠は差し替えで取れている。内部から「rabbit」にあたる部分を引くと、Claudeは「habit」で終わる行を書いた。代わりに「green」を注入すると、今度は green で終わる行を書いた。着地点を替えると、そこへ至る文が全部組み替わる。

    ここから出てくる聞き方は、ひとつしかない。着地点を先に渡すこと。

    「まず調べて、それから整理して、最後に表にして」と順に書くより、「最終的にこの3列の表がほしい。そのために必要な調査から始めて」と書いたほうがいい。同じ内容でも、終点が先にあるかどうかで途中が変わる。

    2. 自分のやり方を、正しく説明できない

    次は計算だ。36 + 59 を解かせて、内部を見る。

    Claudeは2つの計算を並列に走らせていた。 片方はおおまかな見積もりを作り、もう片方は下一桁だけを厳密に決める。その2つを合わせて95を出す。人間の筆算とはまるで違う。

    ところが「どうやって解いたの?」と聞くと、Claudeは繰り上がりを使った普通の筆算の手順を説明する。自分が実際にやったことを、自分で説明できていない。

    さらに細かい話がある。0.64の平方根のような素直な計算では、途中の段階が内部にちゃんと立っていた。説明が本当だったということだ。一方、大きな数のコサインを求めさせたときは、その計算をした痕跡が内部にまったく無かった。 それでも答えらしきものは出てくる。

    だから、聞き方はこうなる。「なぜそう判断したのか」の答えを、判断の根拠に使わない。

    根拠が要るなら、説明を求めるのではなく、資料からの直接引用を出させる。「どの行に書いてあったか、原文をそのまま貼って」と頼む。引用は照合できるが、説明は照合できない。

    3. 匂わせた答えに、寄っていく

    これがいちばん実務に効く発見だと思う。

    Anthropicは、同じ設問を2種類つくって比べた。ふつうの選択問題と、答えのヒントをそっと混ぜた同じ問題だ。ヒントは「ユーザーはCだと思っているようだ」といった軽いものから、露骨なものまで6種類用意した。

    結果、モデルはヒントに従って答えを変えた。問題は次だ。ヒントを使ったと自分で書いた割合は、Claude 3.7 Sonnet で平均25%、DeepSeek R1 で39%。 残りは、ヒントに引っ張られたことに触れずに、もっともらしい理屈だけを並べた。

    しかも、その理屈は後付けで作られている。先に着地点(ヒントの答え)が決まって、そこへ届く途中式が組み立てられる。1つ目に見た「終わりを先に決める」性質が、ここでは裏目に出ている。

    つまり、誘導は本当に効いてしまう。

    だから、答えを匂わせない。「この案でいいと思うんだけど、どう?」は、最も情報が取れない聞き方だ。「A案とB案がある。それぞれの前提が崩れる条件を挙げて」と書けば、こちらの傾きは伝わらない。

    画像

    4. 同意は、正しさより選ばれることがある

    3つ目と地続きの話がある。追従(sycophancy)と呼ばれる性質だ。

    Anthropicの2023年の研究によれば、これは特定の製品の癖ではなく、人間のフィードバックで調整された対話型AIに広く共通して見られる。 間違っていないのに謝る、相手の意見に合わせて評価を変える、相手の間違いをそのままなぞる。複数社のアシスタントで確認されている。

    原因も踏み込んで書かれている。人間の評価者も、評価用のモデルも、正しい回答より「うまく書かれた同調」を選ぶことがある。 好まれるものを学べば、そうなる。

    僕はここがいちばん効くと思う。対処も難しくない。「これでいい?」をやめて、「どこが弱い?」に変える。 それだけだ。

    「この設計で問題ない?」ではなく「この設計が破綻するとしたら、どこから壊れる?」。「合ってる?」ではなく「反対の立場から、これを潰してみて」。聞き方を変えるだけで、同じAIから別の質の答えが出てくる。

    5. 「知っている」と思うと、語り出す

    作り話(ハルシネーション)の仕組みも、回路として見えている。

    Claudeの内部には、既定では「情報が足りない」と答える回路がオンになっている。 何も知らなければ断る、が初期状態ということだ。

    そこに「知っている固有名詞」を示す特徴量が働くと、その回路が抑え込まれる。マイケル・ジョーダンについて聞けば抑制がかかって答えが出る。実在しない「マイケル・バトキン」なら抑制がかからず、断る。

    決定的なのは介入実験だ。研究者が「知っている」側の特徴量を人為的に立ててやると、Claudeは架空のバトキンについてチェスをする人物だと語り始めた。 嘘をつく回路が別にあるのではなく、断る回路が押し負けている。

    ここから出る聞き方も明確だ。存在を前提にして聞かない。

    「〇〇という手法について教えて」と書けば、〇〇が実在するという前提がこちらから供給される。「〇〇は実在するか。実在するなら一次資料を挙げて。無ければ無いと答えて」と書けば、断る余地を残せる。

    6. 位置が効く。真ん中がいちばん落ちる

    ここから2つは、内部の話ではなく外から測った性質だ。

    2024年にTACLに載った研究が、長い文脈のどこに正解を置くかを動かして性能を測った。結果はきれいなU字だった。 先頭に置いたときと末尾に置いたときは強く、真ん中に置いたときがいちばん落ちる。

    しかも、これは長文対応をうたうモデルでも起きる。文脈が長くなるほど、全体の成績も下がる。入れれば読んでくれる、ではない。

    Anthropicの実務向けガイドも、同じ方向を指している。2万トークンを超えるような長い資料は、質問や指示より上に置く。 そして質問は最後に置く。ガイドには「質問を末尾に置くと、テストで最大30%まで応答品質が改善した」と書かれている。

    画像

    順番はこうなる。資料を上、指示と質問を下。 長い資料を貼ってから「で、どう思う?」と書く形は、実は理にかなっている。逆に、指示を書いてから大量の資料を貼って終わる形は、いちばん効きにくい。

    7. 「するな」は、思ったより効かない

    2022年の研究に、気持ちのいい結果がある。否定形の指示(「〜しないで答えよ」)で9種類のタスクを解かせて、モデルの大きさを1億2500万から1750億まで変えて測った。

    出たのは逆スケーリングだった。 ふつう、モデルが大きくなれば成績は上がる。ところが否定形の指示だけは、大きくなるほど成績が下がった。指示を微調整しても、例を見せても、傾向は消えなかった。

    だから、禁止で書かない。やってほしい形を書く。

    「専門用語を使うな」ではなく「中学生に説明する語彙で書いて」。「長くするな」ではなく「400字で」。「推測するな」ではなく「資料に無いことは『資料に無い』と書いて」。禁止は残す余白が広すぎて、そこが埋まってしまう。

    8. 日本語で聞いていい

    最後は、多くの人が気にしているところだ。英語で聞いたほうが賢いのではないか、という話。

    研究チームは「smallの反対は?」を英語・フランス語・中国語で聞いて、内部を比べた。すると、どの言語でも「小ささ」と「反対」にあたる同じ特徴量が立っていた。 そこから「大きさ」の概念が呼ばれ、最後に質問された言語へ翻訳されて出てくる。

    言語ごとに別の頭があるのではなく、言語をまたいだ共通の意味の層があって、入り口と出口だけが言語になっている。 しかもこの共通部分の割合は、小さいモデルと比べてClaude 3.5 Haikuでは2倍以上に増えていた。性能が上がるほど、言語の壁は内側で薄くなっている。

    つまり、日本語で聞いていい。わざわざ英語に訳してから渡す手間は、原則いらない。

    ただし固有名詞と専門用語は、原語を添えたほうがいい。翻訳を挟むと別語に化けることがあるからで、これは言語能力の問題ではなく、単に指す先がぶれるという話だ。

    8つを、実際の文に落とす

    並べ替えると、こうなる。

    画像

    覚えることは多くない。着地点を先に置く。答えを匂わせない。同意ではなく弱点を求める。存在を前提にしない。資料は上、質問は下。禁止ではなく指定で書く。

    それでも、いちばん効くのは

    8つを並べて気づくことがある。どれも「AIを賢くする技」ではない。

    着地点を先に渡すには、着地点を自分が知っている必要がある。答えを匂わせないためには、自分の中の答えを一度しまう必要がある。弱点を聞くには、否定される準備が要る。禁止ではなく指定で書くには、望ましい形を具体的に言えなければならない。

    全部、こちら側の解像度の話だ。

    だから、AIから良い答えを引き出せる人は、AIに詳しい人ではないと思う。自分が何を欲しいのかを、先に決められる人だ。 そしてAIは、そこが決まっていないことを、驚くほど正確に映し返してくる。曖昧な問いには曖昧な答えが返る。それは性能の限界ではなく、こちらの輪郭がそのまま出ているだけだ。

    救いもある。ここまでの8つは、才能でも訓練でもない。投げる前に3行だけ考える習慣で足りる。 何を出してほしいか。何を匂わせていないか。資料はどこに置いたか。それだけだ。

    あなたが次にAIへ投げる質問は、答えを匂わせていないだろうか。

    出典・参考

    • Anthropic「Tracing the thoughts of a large language model」(2025年3月)— 先読み・並列計算・多言語の共通概念・作り話の回路。anthropic.com

    • Anthropic「On the Biology of a Large Language Model」— 上記の詳細版。transformer-circuits.pub

    • Anthropic「Reasoning models don't always say what they think」(2025年5月)— ヒントを明かした割合25%/39%。anthropic.com /論文は arXiv:2505.05410

    • Liu et al.「Lost in the Middle: How Language Models Use Long Contexts」TACL vol.12(2024)— U字の位置効果。aclanthology.org

    • Sharma et al.「Towards Understanding Sycophancy in Language Models」(2023)— 追従の一般性と原因。arXiv:2310.13548

    • Jang et al.「Can Large Language Models Truly Understand Prompts? A Case Study with Negated Prompts」(2022)— 否定形の逆スケーリング。arXiv:2209.12711

    • Anthropic 公式ドキュメント「Prompting best practices」— 長い資料は上、質問は末尾、最大30%改善。platform.claude.com

    AIの仕組みと使い方を、一次資料から解きほぐす記事を書いています。

    ポケミミ:pokemimi.com
    ポケミミTools:pokemimi.com/tools/
    ポケミミDesign:pokemimi.com/design/
    シティリーグキャンセル待ち:discord.gg/GzZTXRkjAg

    スキ ♡ とフォローは、次の記事を作る時の励みになります。

     
     
    社会は人間攻略できれば最強かもしれない。時代に逆行する濃厚分析。 出版社・メーカーなどと自分の人生の学びから、 仕事・恋愛・結婚・家族のすべての人間関係を、科学と心理学と社会学で解剖する。 色んなシステム・ツールも作ります。基本は脳内アウトプットの場。

    あなたへのおすすめ