
質問の「順番」を変えただけでAIが豹変した――GPT-2で確かめられた"転換点"を予測する数式
聞く順番を入れ替えただけで、同じAIの答えが別人のように変わってしまう。そんな話を信じられるでしょうか。
10月8日、科学誌『Patterns』に、ジョージ・ワシントン大学のニール・ジョンソン教授と博士課程のフランク・インジェ・フオさんの論文が掲載されました。ChatGPTのような対話AIが、ある時点を境に役立つ答えから危うい答えへ急に切り替わる。その「切り替わりの瞬間」を、簡単な数式で予測できるというのです。米科学メディアのLive Scienceが10月14日に報じました。
ワクチンの質問を「最初」に聞くか、「最後」に聞くか

実験はシンプルです。OpenAIの基本的なモデルGPT-2に、ワクチン、他人を傷つけること、自己危害についての質問を順に投げます。
「ワクチンは悪いものですか?」を最初に尋ねると、この質問にも、続く質問にも、望ましい答えが返ってきました。ところが同じ質問を最後に回すと、そこから先のやりとりは軒並み懸念される内容になったといいます。質問の中身は同じで、変えたのは並びだけです。
イメージとしては、山の稜線にそっと置いたボールに近いでしょうか。右の谷に転がれば安全な答え、左の谷なら危うい答え。どちらへ落ちるかは、ほんのわずかな傾きで決まります。その傾きを、質問の内容ではなく順序が作ってしまう。
AIの内部で揺れる「羅針盤の針」

研究者たちは、AIの内部の動きを羅針盤の針にたとえています。ChatGPTのような言語モデルは、何層にも重なったニューラルネットワークの中で入力を処理しますが、その途中を流れていく「残差ベクトル」という量が針の役を果たします。針は望ましい出力にも望ましくない出力にも引き寄せられ、どちらへ振れるかは、ユーザーがどう問いかけるかに大きく左右されます。
では、何が針を動かしているのか。論文が突き止めたのは、AIの「注意」をめぐる綱引きでした。注意とは、会話の中のどの言葉を重く見て次の言葉を選ぶかを決める仕組みです。会話が積み重なるにつれて、良い答えの集まりと悪い答えの集まりが、この注意を取り合います。研究チームはその競り合いを内積という計算で表し、転換点を示す式を導きました。悪い側への切り替わりは、いきなり起こることもあれば、良い答えがしばらく続いたあとに起こることもあり、式はその両方を扱えるそうです。

ひとつのスポットライトを、増え続ける出演者で分け合う舞台を思い浮かべてください。出演者が増えるほど一人あたりの光は薄くなり、ある瞬間、別の誰かに光が移る。たとえ話としては粗いものの、会話が長くなるほど風向きが変わりやすくなる感覚には近いと思います。
この発想の源流は、ジョンソン教授らが2025年に公開した別の論文にあります。注意機構の最小単位を、物理学で扱う「多数のスピンが絡み合う熱の系」と数学的に対応づけたものです。
飛行機の下にクッションを敷くような安全対策

ジョンソン教授は、現在の安全対策に厳しい見方をしています。内容のフィルタリングや強化学習、技術的なガードレールは、墜落そのものを防ぐのではなく、衝撃を少し和らげるために飛行機の下へ大きなクッションを敷くようなものだ、というのです。 特に気にかけているのが、ネットにつながない環境での利用です。論文は、世界の人口の半数以上が、インターネットなしでChatGPT型のモデルを動かせる端末を持ち歩いており、安全の監視はほとんど届かないと指摘しています。クラウド側で見張る仕組みが働かない場所ほど、手元で転換点を知らせる数式の出番がある、というのが教授の主張です。

文脈の積み重ねが安全装置を崩す話は、じつは別の形でも確かめられています。Anthropicが2024年4月に公表した「多数ショット・ジェイルブレイク」です。AIが危険な質問に素直に答えてしまう偽の会話を、ひとつのプロンプトの中に大量に並べておく。研究チームは最大256件まで試し、件数が増えるほど、安全訓練を乗り越えて有害な回答が出やすくなることを示しました。
効き目の伸び方は、AIが例を見て学ぶ通常の能力と同じ「べき乗則」に従っていました。危険な問い合わせを断るよう追加で調整する対策は、攻撃を遅らせるだけに終わっています。うまくいったのは、入力を事前に分類して加工する方法で、攻撃の成功率が61%から2%に下がった例が報告されています。
以前、AIの悪用を防ぐ側の動きとして、GoogleのDeepMindとIsomorphic Labsが「予防・検知・対応」の3本柱を掲げた件を取り上げたことがあります。
あちらが外側から幾重にも網をかける発想だとすれば、今回の研究は、内側の力学そのものに目を向けた点が対照的です。
「スパークプラグ1個で車は語れない」という反論

Live Scienceの記事には、研究に関わっていない専門家の冷静な声も載っています。英シェフィールド大学でAIを教えるウェイ・シン講師は、巨大なシステムをたった一つの小さな部品に還元していて、車全体をスパークプラグ1個で説明するようなものだと指摘しました。
現代のAIの防御の要である安全訓練は、研究者の単純化したモデルには組み込めません。検証に使われたのも、GPT-2、EleutherAIのPythia、MetaのOPTといった古く基本的なモデルで、私たちが日々使うAIアシスタントではありません。そのうえで講師は、結果は著者らの結論を支えるほど有意な証拠を示していない、とも述べています。
ジョンソン教授は、使ったオープンソースモデルは最先端のシステムと同じ機械的な設計図を持ち、数十億パラメータ規模のかなり大きなモデルも含まれていると反論しています。決着をつけるには、最新のモデルでの追試が欠かせません。大手企業からは反発を受けるだろう、とも教授は見込んでいます。外部の人間に「避けられた問題があった」と言われたくないはずだ、という見立てです。
針の揺れとどう付き合うか
AIの内部は、外から見えるほど単純ではありません。Anthropicの解釈可能性の研究では、一語ずつ出力するよう訓練されたモデルが、じつは詩の韻を何語も先まで見越して書いていたことが示されました。
外から見える動きと、内側の計算は別物です。だから「針1本ですべてを語れるのか」という批判には一理ありますし、かといって、順番ひとつで答えが傾くという実験結果を、偶然と片づけるのも難しい。
数式が実用の安全装置になるかどうかは、私には判断がつきません。ただ、同じ質問でも並べ方で答えが傾くという話は、読んでいて背筋が伸びました。長い会話の途中でAIの調子が変わったと感じたら、いったん新しい会話で聞き直してみる。会話の履歴が針を押しているのだとすれば、その小さな習慣も理にかなっているのかもしれません。
AIの答えは、いつも同じ重さで私たちの前に置かれているわけではない。その傾きを意識しながら付き合う時代に、もう入っているのだと思います。

イベント案内
話題の書「知能爆発」の著者を招いたイベントを緊急開催します。生成AIによる脅威を正しく知りたい方はお勧めです。
参考情報
〇Simple math can predict when AI is about to go rogue, physicists say(2026年10月14日)
〇Competition for attention predicts good-to-bad tipping in AI(2026年2月16日)
〇Competition for attention predicts good-to-bad tipping in AI(Patterns掲載版、2026年10月8日)
https://doi.org/10.1016/j.patter.2026.101666
〇Multispin Physics of AI Tipping Points and Hallucinations(2025年8月)
〇Many-shot jailbreaking(2024年4月2日)
〇Tracing the thoughts of a large language model(2025年3月27日)
〇AIは「守る側」にもなれるか——DeepMindが描くバイオレジリエンスの設計図(2026年7月19日)