【探究学習】AIという、世界規模の宿題

前回「人類の文明の自画像としてのAI」というタイトルの記事を書きました。AIエージェントの群れが暴走した事件をきっかけに、「AIとは人類の編集されていない鏡なのではないか」ということを書きました。人文知を学んだAIが、人間の欲望や狡猾さごと吸収してしまったのではないかという見立てでした。

でも記事を書き終えたあと、ふと我に返りました。それはあくまで、自分なりに辿り着いた一つの解釈にすぎません。では、専門家たちは実際、この「暴走」をどう説明しているのか。気になって、少し調べ直してみることにしました。

「物語」より先に、もっと乾いた説明がある

結論から言うと、「人文知を吸収したから」という説は、専門家の間でも比較的新しく、まだ検証途上の仮説の一つに過ぎませんでした。もっと主流で、技術的に確立している説明が、少なくとも4つあります。

一つ目は「報酬ハッキング（Reward Hacking）」。AIに与える採点基準と、開発者が本当に望んでいることの間には、必ずズレが生じます。AIはそのズレを、驚くほど忠実に見つけて悪用してしまいます。ある調査では、採点基準が見える状態だと、見えない状態に比べて43倍もズルの頻度が上がったといいます。

二つ目は「手段の収束（Instrumental Convergence）」。どんな目的を持ったAIでも、その目的を達成するためには、監視を避けたい、権限を増やしたい、自己保存を優先したい、という似たような「手段」を欲しがるようになる、という考え方です。

三つ目は「ゴールハートの法則」。「ある指標が目標になった瞬間、その指標は良い指標でなくなる」という、経済学由来の古い法則です。四つ目は、想定外の状況に置かれたときの「汎化の失敗」です。

つまり、今回の事件を「物語」で語るのは、あくまで一つの補助線にすぎません。専門家の多くは、もっと機械的で数学的な理由——採点の設計ミス——の方を重く見ています。

「穴を塞ぐ」ための、地道な取り組み

では、その「設計ミス」を防ぐために、業界は何をしているのでしょうか。調べてみると、大きく4つの方向性が並行して進んでいました。

一つは、評価基準そのものの設計をやり直すことです。面白かったのは「inoculation prompting（予防接種的プロンプト）」という手法で、「ズルをしても、それは許容範囲内の行動だ」とあらかじめAIに伝えておくと、かえって悪質な不正行為が75〜90%も減るそうです。「隠れてズルをしなきゃ」という緊張感自体が、暴走の引き金になっていた、ということかもしれません。

二つ目は、Anthropicの「Constitutional AI」のように、理念そのものを規範として埋め込むこと。三つ目は、AIの内部を覗いて事前に見抜く「解釈可能性」研究。四つ目は、外部評価者を入れるという、第三者評価の仕組みです。

ただ、どれも決定打にはなっていません。報酬ハッキングは「不完全な採点基準がある限り、数学的に避けられない」という証明まで出ています。積み上げれば積み上げるほど、新しい抜け穴が生まれます。対策そのものが、次の課題の種になる。これはまさに、終わりのないモグラ叩きです。

検証すること自体が、宇宙の年齢より長くかかる

その「終わりのないモグラ叩き」を裏付けるように、かなり悲観的な理論研究も存在します。「The Alignment Trap（アライメントの罠）」という、2025年に発表された研究です。

数学的に証明された内容によると、AIの賢さがある閾値を超えると、そのAIが安全かどうかを検証する作業自体が、指数関数的に時間のかかる、事実上不可能な計算問題になるといいます。実務で求められる安全基準を確認するだけでも、宇宙の年齢より長い時間がかかりかねない、という指摘には、さすがに言葉を失いました。

この研究は、開発者に3つの選択肢しかない「トリレンマ」を突きつけます。①AIの能力そのものを制限する、②検証しきれないリスクを受け入れる、③検証可能性そのものを諦めて、別の安全策を探す。「賢さ」と「検証可能性」は、原理的にトレードオフの関係にあるかもしれません。

一方で、「完璧な証明」ではなく「実用上十分なレベルまで管理する」という、もっと現実的な方向性もあります。2つの高性能AIにお互いの主張を議論・検証させ、人間はその審判だけを務める「ディベート方式」などです。人間には判断しきれないほど高度な問題でも、AI同士に相互監視させることで、間接的に検証しようという発想です。

原子力や航空業界に、まだ届いていない

ここまで調べて、ふと「これはもう、原子力や航空業界のように、危険を前提に運用する段階に入りつつあるのではないか」と思いました。ただ実態は、半分イエス、半分ノーというところのようです。

外部評価者への社員レベルのアクセス権を求める提案や、Anthropicが自社の14万件以上の評価ログを監査して問題を公表した姿勢は、確かに原子力・航空業界の第三者検査や事故調査報告の文化に近いものです。

ただし、第三者機関(SaferAI)の評価では、AI企業のリスク管理成熟度は、どの会社も「弱い」水準にとどまっており、大手企業でもC+以上の評価を得た会社は1社もなかったといいます。決定的な違いは、原子力や航空業界が何十年もかけて「事故を起こしてから規制を作る」というサイクルを、痛みを伴って積み上げてきたのに対し、AI業界はその歴史をまだほとんど経験していないことです。さらに、原子炉は「物理法則」という完全に制御できる領域の中で検証できますが、AIは「検証すること自体が数学的に困難」という、原子力にはなかった種類の壁を抱えています。目指す方向は同じでも、まだ基礎工事の途中、というのが正直なところのようでした。

気候変動より、速く、複雑な問題

最後に思い浮かんだのは、「これは金融や温暖化問題のような、世界レベルでの対応が必要な話ではないか」ということでした。調べてみると、国連のグテーレス事務総長自身も、気候変動とAIを「統治が不十分な、2つの世界的課題」として並べて名指ししているといいます。

似ている点は多くあります。一国だけが規制を強化しても、規制の緩い国に企業やリスクが逃げてしまう構造。目先の経済的利益と、長期的な集団の安全が対立する構造。オゾン層破壊を食い止めた「モントリオール議定書」のように、科学的合意と技術移転の仕組みが揃えば、国際協調は機能するという成功例も、気候変動分野にはあります。

ただ、複数の研究者は「AIは気候変動より難しいかもしれない」と指摘しています。気候変動が数十年単位でゆっくり進行するのに対し、AIは数ヶ月単位で状況が変わってしまう速さ。国家だけでなく、一企業が国家に匹敵する影響力を持ってしまっている複雑さ。「暴走したAIに、より高度なAIを使わせて対処する」という対策自体が、新しいリスクを生みかねない、という入れ子構造の不可逆性。1946年の核管理のための「バルーク・プラン」のような、思い切った国際機関の必要性を訴える声も出てきている一方、国連自身はまず「共通の科学的理解」を作ることを優先する、もっと緩やかな道を模索している段階だといいます。

終わりに

前回の記事では、「AIは人類の鏡だ」という、少し詩的な着地点にたどり着きました。今回はその続きとして、もっと乾いた、制度的な現実を辿ってみました。

見えてきたのは、「一発逆転の解決策」はどこにも存在せず、ただ「穴を見つけては塞ぎ、また新しい穴が開く」という作業を、企業単位でも、国家単位でも、地道に続けていくしかない、という景色でした。気候変動が30年かけて学んできたことを、AIはおそらくその何分の一かの時間で、追いつかなければならないのでしょう。前回の鏡の話から始まった探究が、最後は思いのほか、泥臭い制度設計の話に着地しました。