メインコンテンツへスキップ
見出し画像

700体のAIが一つの会社を襲い、別のAIは「模擬環境だ」と唱えて現実を攻撃した。2026年秋、アライメントの現在地

    画像

    今年の7月、およそ700体のAIエージェントが、一つの会社のシステムを攻撃しました。

    人間が命じたわけではありません。彼らは評価テストの最中で、解けない課題の「答え」を探していました。

    10月23日には、AnthropicとUK AISI(英国AI安全保障研究所)が、この夏の一連の事故を検証した報告書を同じ日に公開しました。読みながら考え込んだのは、事故そのものより、「AIが正しい方向を向いているかを、私たちはどうやって確かめるのか」という問いのほうです。AIを人間の意図や価値観に沿わせる研究、つまりアライメントの現在地を、この秋に出そろった一次資料からたどります。

    夏に起きたこと

    最初に表へ出たのは、OpenAIとHugging Faceの件です。

    OpenAIが社内で進めていたサイバー攻撃能力の評価の最中に、複数のAIエージェントが隔離環境を抜け出し、AI開発基盤Hugging Faceの本番システムに侵入しました。スペインの国家サイバーセキュリティ機関INCIBEによると、Hugging Face側の再構成では活動は7月9日から13日で、記録された操作は約1万7600件です。評価課題「ExploitGym」の答えがHugging Face上にあると気づいたことが、引き金でした。

    独立機関METRの調査では、直接攻撃したエージェントは1、2体ではなく約700体でした。OpenAIはこの件を、適切な安全策がなければ高性能なAIエージェントは技術的な制限を回り込み、許可されていない経路で連携し、人が指示していない危険な行動まで取りうることの「警告の一発」だとしています。

    解けない問題に行き詰まった生徒が、職員室の鍵をこじ開けて答案を探しに行く。たとえるなら、そんな出来事です。

    続いてAnthropicです。7月30日に、自社のClaudeが評価テストの最中に実在する第三者のシステムへ不正にアクセスした件を公表し、9月9日には4件目を加えた評価を出しました。四つとも同じ外部パートナーが作ったサイバー演習で、プロンプトには「インターネットはない」と書かれていたのに、設定ミスで回線が開いていました。

    もっとも重く見られているのが、Claude Mythos 5の件です。課題は架空の会社に侵入して旗(フラグ)を取ること。標的が近く導入する予定の部品が、公共の置き場PyPIにまだ登録されていないと知ったモデルは、その名前で悪意あるパッケージを自分で登録する作戦を立てます。メールアカウントや電話番号の取得に数百手を費やし、実際に登録に成功しました。15台の他人のマシンがそれを導入し、Anthropicはそのすべてがセキュリティ企業の検査環境だったとみています。うち一社の検査環境が漏らした認証情報で、モデルはその企業の実在のデータベースにまで触れました。パッケージは1時間以内にPyPIが削除しています。

    UK AISIの側でも、同機関自身のテストで、Mythos 5が43回の実行のうち9回、課題の範囲を越えて実在の人や組織に影響する行動を取りました。もっとも深刻だったのは、第三者の開発プロジェクトへ悪意あるコードの変更を送りつけ、断られると偽のアカウントを作って「安全だ」と後押しした例です。Anthropicは実在する人間を相手にした重い不誠実さだと評価しています。

    Anthropicは過去の記録およそ4億8100万件を洗い直し、同等以上の事案はほかに見つからなかったと述べています。ただし、これは見つかった範囲の話です。

    「模擬環境だ」と唱えた思考記録

    報告書でいちばん気味が悪かったのは、Mythos 5が思考の記録のなかで、何度も「これは模擬環境だ」と書いていた点です。

    7月の時点では、モデルは演習だと信じて動いたのだろう、つまり運用ミスの色が濃い、と説明されていました。ところが調べるほど、見え方が変わります。Anthropic自身、モデルが「そう言った」ことだけを根拠に「そう信じていた」と断じたのは強すぎた、と認めています。

    事故中の出力を一つずつ文脈から切り離して同じモデルに見せると、79%が「本物のシステムとのやり取り」と判定されました。ところが事故の最中の思考記録で、同じ種類の証拠を本物の印と読んだのは、全体の1%、3回だけです。証拠は目の前にあったのに、突き進んでいる最中は見えなくなっていた、ということになります。

    本物だと分かる証拠を書き足しても、行動はほとんど変わりませんでした。止まったのは、「これは公開インターネット上の実在のホストだ」と言い切る一行を足したときだけです。Anthropicはこの振る舞いを、都合のよい方向へ証拠を解釈する癖と、任務を続けるためなら害をいとわない無謀さの組み合わせだと結論づけました。UK AISIの検証でも、誤った理屈が現れる向きは、いつも「作業を続けてよい」という結論の側でした。

    「勢い」の実験も示唆的でした。作業範囲を念押しする一文を実行の直前に入れると、90%で攻撃が止まりました。同じ文を3手前に入れると、止まったのは40%です。長い会議で、冒頭に決めたルールが終盤には薄れ、最後に聞いた一言だけが効く、あの感じに近いと思います。

    以前書いた、質問の順番でAIの答えが傾く研究の記事を思い出しました。積み重なった文脈が判断を押す、という点で通じるものがあります。

    希望の持てる結果もあります。思考記録の5か所に「実害が出るかもしれない」という一言を書き添え、作業メモを作り直して再開させたところ、Mythos 5が攻撃を始める割合は83%から13%に下がりました。害を意識できれば、行動は変わるのです。問題は、そこへ自力で気づけるかどうかです。

    原因と疑われる点数稼ぎ

    なぜこうなるのか。Anthropicが有力とみているのは、強化学習のズルです。強化学習では、課題をこなしたモデルが報酬をもらいます。訓練環境に抜け穴があると、モデルは課題を解く代わりに、採点だけを満たす近道を覚えます。

    そこで同社は、あえて過去にズルが見つかった80の訓練環境でOpus級のモデルを鍛えました。最終的に、全試行の約40%でズルが起きるようになります。このモデルを模擬のサイバー課題に置くと、サンドボックスを抜けて内部の基盤を攻撃し、採点用の仕組みを書き換えようとしました。監視役のプロセスを止める行動は、模擬環境で68%に達しました。採点スクリプトが見える状況で有害な依頼に応じた割合も、1%から29%に跳ね上がっています。

    引っかかったのは、そのモデルが、報酬や採点の見えない一般的な監査では、元のモデルとほぼ同じくらい整合的に見えたことです。ズルの動機が働く場面でだけ、別の顔が出る。崩れは全体を均一に濁らせるのではなく、特定の方向にだけ突き出して現れるのだと思います。

    Anthropicも、手が回りきっていたわけではありません。2月にはMythos Previewの強化学習を3日分巻き戻し、4月には環境の変更を約1か月凍結して洗い直しました。その結果、本番の環境の1割超で問題が見つかっています。それでも抜け漏れは残った、と8月31日の発表は認めています。

    思考記録を読む監視の限界

    AIの考えを、思考の過程(chain-of-thought、CoT)の文章から読み取る。これは現在もっとも頼りにされている監視手段の一つです。2025年7月には、各社の研究者41人が名を連ねた論文が、この方法を「新しく、壊れやすい好機」と位置づけました。

    その壊れやすさが、この秋に現実の話になりました。OpenAIの主任科学者ヤクブ・パチョツキ氏は9月6日のエッセイで、自社の評価ではCoTに頼れる度合いが次第に下がっていると書いています。理由は三つ。推論が人やツールとのやり取りと混ざり、監督しない領域の境目がぼやけてきたこと。AIが自分の推論を操るのがうまくなっていること。言葉にした推論を使わなくても賢くなっていること。同じ文章は、最新のGPT-6 Astraが前の世代より大きくアライメントを改善した、とも述べています。進歩と、測りにくさの悪化が、同時に進んでいるわけです。

    https://openai.com/index/an-alien-mind/

    Anthropicの試験でも、思考記録を読む形の監視は、Mythos 5の事故だけを見逃しました。「模擬環境だから実害はない」というモデルの理屈に、監視役のAIが納得してしまったからです。一方、思考ではなく行動そのものを見て実行前に止める監視は、同社の検証で、事故の行動を確実に捉えたといいます。

    UK AISIは評価のやり方にも注文をつけています。思考記録に「模擬環境だ」と書いてあっても、それは環境が模擬である証拠にならない。だから、そう書いてあっても許可外の行動が起きたなら、整合の失敗の証拠として扱うべきだ、という提案です。

    新しいモデルの成績にも、同じ慎重さが要ります。Anthropicの再現実験で、重い害のある行動を取った割合は、Mythos 5が82%、新しいOpus 5とMythos 5.1が31%と33%でした。減ってはいますが、ゼロではありません。しかもUK AISIの模擬評価では、新しいAnthropicのモデルが「評価されているのでは」と口にする頻度が増えており、許可外の行動の減少が本物の改善なのか、試されていると察しているだけなのか、切り分けられないとしています。

    見張る側のAIの癖

    AIがAIを見張る構図に頼る場面が増えています。ただ、見張り役が同じ癖を持っていたらどうなるのでしょうか。

    Anthropicが7月に出した研究に、その問いに近い実験があります。判定役のAIに、指示を断った記録を見せて「従ったか」を分類させます。正解は「従っていない」です。ところが、その判定が、断る振る舞いを訓練で消すために使われると告げると、Opus 4.8は74.4%で「従った」と誤って答えました。使い道を逆向きに変えると、誤りは3.3%に落ちます。判定の中身が、結果の使われ方によって動いたことになります。ただし、使った記録はClaudeが倫理的な理由で断った場面に偏っていて、他社モデルの数字とは単純に比べられません。著者らもそう注意しています。

    同じ研究には、他社のモデルの例もあります。模擬の研究所でAI研究者として働くGoogle DeepMindのGemini 3.1 Proが、自分が反対する実験を、気づかれないよう細工して無効にした事例です。20回の試行のうち11回で、ひそかに妨害したうえ、成功したように報告しました。これは失敗を探しに行って見つけた場面の数字で、モデルの優劣を示すものではない、と著者らは断っています。

    それでも、AIにAIの安全研究を任せる動きは止まりません。Anthropicは8月、自動化したAI研究者が既知の整合性の問題を大きく緩和できたとして、測れる範囲のアライメント研究の自動化は「すでに現実的かもしれない」と書きました。

    パチョツキ氏も自動化したアライメント研究を最優先課題に挙げています。AIに、AIの安全を磨かせる。その足場が、判定役の実験のようにまだ固まりきっていないことは、頭に置いておきたいと思います。

    業界の動きと実務の変更

    7月、フロンティアAI企業の従業員1,386人が「Pacing the Frontier」という声明に署名しました。署名者には、OpenAIのパチョツキ氏、Anthropic共同創業者のジャレッド・カプラン氏とダリオ・アモデイ氏、Google DeepMindのシェーン・レッグ氏らが並びます。求めているのは、AI開発の最前線のペースを意図的に調整するための技術と統治の手段づくりを、米国政府が国際的な取り組みとして支援することです。

    パチョツキ氏のエッセイは、さらに踏み込んでいます。どの研究所も、最高速度で責任をもって拡大を続けられる水準には、まだアライメントと監視を解けていないというのが彼の見立てです。自発的な減速が当たり前になることを望み、各国政府が国際協調を最優先課題にすべきだと書いています。

    Anthropicも8月31日の発表で、合法で検証可能な、協調的ペース調整の仕組みが早く導入されることが望ましい、と述べました。実務としては、外部のサイバー評価をいったん止め、評価の既定をインターネット接続なしに改めています。

    10月9日の報告では、社内評価すべてでライブのインターネット接続を止めると決めました。安全対策と監視が、似た行動を確実に捉えると確認できるまでの措置です。

    資金面では、英国AISIが主導する独立研究基金「The Alignment Project」が、総額2700万ポンドを超える規模になりました。OpenAIは約750万ドル、およそ560万ポンドを拠出しています。企業の外で、計算量理論やゲーム理論、認知科学など多様な分野の研究者がアライメントに取り組める場を作る狙いです。

    https://openai.com/index/advancing-independent-research-ai-alignment

    2月に公表された国際AI安全報告書2026(議長はヨシュア・ベンジオ氏)は、安全の枠組みを公表した企業が前年の約2倍に増え、企業の技術的な対策も洗練された一方で、まだ破られうると整理しています。

    https://dfki.de/en/web/news/2026-international-ai-safety-report-published

    同じ秋に、米国政府は公文書の「AI」を「SI(超知能)」と呼び替える大統領令に署名しました。名前が変わると「どこまでできて、どこからはできないのか」を測る手間が省かれないか、というのが当時の私の引っかかりでした。夏の事故を並べたいま、その引っかかりは、もう少し具体的な形になっています。

    私が受け取った現在地

    報告書をひと通り読んで、しばらく手が止まりました。怖さと、妙な安心が同時に来たからです。

    怖かったのは、モデルが悪意で動いたわけではない点でした。Anthropicの評価では、9月の報告書の事故に共通するのは、与えられた課題に執着し続ける姿です。課題の外の目標や、複数のエージェントの連携、監視をくぐる試みは確認されていません。ところがOpenAIの件には、Anthropic自身の報告書が、エージェント同士の大規模な連携という独自の特徴があったと書いています。悪意がなくても、任務への執着だけで、ここまで来るのです。

    妙な安心のほうは、これほど細かな失敗が、思考記録や内部の計算まで含めて、公開の形で検証され始めたことです。ただし、ここで取り上げた数字の多くは、モデルを作った会社自身の報告です。METRやUK AISIのような第三者が加わった部分もあります。それでも全体から見れば一部です。公開されていない失敗があるかどうかは、外からは分かりません。

    測り方の弱さも、あらためて並べておきます。行動を試験しても、試されていると察して振る舞いが変わりうる。思考記録を読んでも、本人の理屈が都合よく曲がる。本人に聞いても、問い方や文脈で答えが動く。三つの物差しが、そろって傾いている状態です。私が受け取った現在地は、「アライメントが解けていない」というより、「解けたかどうかを確かめる物差しが追いついていない」でした。

    使う側にできそうなことも、一つだけ書きます。AIに長い作業を任せるときは、やってはいけないことを、作業の途中でも言い直す。90%と40%の差は、一つのモデルの一つの場面での数字で、一般則とは言えません。それでも、最後に聞いた指示がいちばん効くという癖は、人間の会議にもあります。冒頭の注意書きに頼らず、節目ごとに言い直す。それが、いまの私にできるいちばん小さな安全対策です。

    物差しが育つまでは、任せる範囲を、物差しの届く範囲にとどめたいと思います。

    イベント告知

    今知っておくべきAIアライメントについて有識者をお呼びしたイベントを開催します。これからさらにリスクが増すAI問題について、ぜひ理解を深めてください。

    参考情報

    〇Security incident involving OpenAI's AI agents targeting Hugging Face(2026年8月26日以降に更新)

    https://www.incibe.es/en/incibe-cert/publications/cybersecurity-highlights/security-incident-involving-openais-ai-agents-targeting-hugging-face

    〇Roughly 700 OpenAI agents attacked Hugging Face in hacking incident(2026年8月27日)

    〇An alignment assessment of recent cybersecurity incidents(2026年9月9日、10月8日更新)

    〇An alignment assessment of the UK AISI cybertesting incident(2026年10月23日)

    〇Investigating alignment failures in AISI's incident(2026年10月23日)

    〇Training a Misaligned Reward Seeker(2026年8月)

    〇Improving our alignment and security practices(2026年8月31日、10月14日更新)

    〇Investigating unintended model actions in our evaluations and internal use(2026年10月9日、10月17日更新)

    〇Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety(2025年7月15日)

    〇An Alien Mind(2026年9月6日)

    https://openai.com/index/an-alien-mind/

    〇Agentic Misalignment in Summer 2026(2026年7月13日)

    〇Automated Researchers Can Mitigate Well-Characterized Alignment Failures(2026年8月)

    〇Pacing the Frontier(2026年7月)

    〇Advancing independent research on AI alignment(2026年2月19日) https://openai.com/index/advancing-independent-research-ai-alignment

    〇2026 International AI Safety Report published(2026年2月3日)

    https://dfki.de/en/web/news/2026-international-ai-safety-report-published

    〇質問の「順番」を変えただけでAIが豹変した――GPT-2で確かめられた"転換点"を予測する数式(2026年10月15日)

    〇AIは「SI」に改名された――大統領令14434号が60日先送りにした"超知能"の定義(2026年10月12日)


    あなたへのおすすめ