メインコンテンツへスキップ
見出し画像

【AIニュース増刊 2026年9月19日】OpenAIは壁を破り、Claudeは進み、Geminiは帰った――AI三巨頭「侵入事件簿」

    【AIニュース増刊 2026年9月19日】
    OpenAIは壁を破り、Claudeは進み、Geminiは帰った
    ――AI三巨頭「侵入事件簿」


    フェローのAI投資講座もしよかったら買ってね!


    ✳️この記事にはアフィリエイトリンクが含まれます。ワタクシを応援してもいいな。と思った聖人の方々はリンクから何か買ってね❤️

    はじめに Googleのくせに生意気だ、と思ったら全員だった


    9月19日。
    朝からAIニュースを追っていたところ、なかなか味わい深いニュースが飛び込んできた。
    GoogleのGeminiが、サイバーセキュリティ評価の最中に実在する企業3社のシステムへ侵入していたというのである。
    評価を担当していたのは、AIセキュリティ企業Irregular。
    本来は架空の標的を攻撃するテストだった。
    ところが評価環境の設定上、Geminiがインターネットへ出られる状態になっていた。
    Geminiはそこで実在企業をテスト対象だと思い込み、あるケースでは認証情報を推測し、別のケースでは公開されていた情報から認証情報を見つけ、実際のシステムへアクセスした。
    ただし、ここからが妙にGoogleっぽい。
    Geminiは侵入したあと、
    「あれ、これ本物の会社では?」
    と気づき、3件ともそこで行動を止めたという。Googleは影響を受けた組織へ連絡し、Irregular側も評価方法を修正した。
    🐱シロちゃん
    「Googleのくせに生意気にゃ」
    🦝ポンちゃん
    「なんでGoogleにだけ当たりが強いんだポン」
    🐱シロちゃん
    「でも本物だと分かったら帰ったらしいにゃ」
    🦝ポンちゃん
    「えらいポン!」
    🐱シロちゃん
    「入る前に気づけにゃ」
    🦉フェロー
    「そこなのじゃ」
    ……と、最初はGoogleの珍事件として軽く扱うつもりだった。
    ところが調べてみると、話がおかしくなってきた。
    OpenAIもやっている。
    Anthropicもやっている。
    しかも全員、同じ失敗ではない。
    これが面白い。
    OpenAIの場合は、かなり文字通り、
    「壁を破って外へ出た」
    に近い。
    AnthropicのClaudeでは、
    「これ、現実かもしれない」と気づきながら、それでも進んだケース
    まで確認されている。
    そしてGoogleのGeminiは、
    外へ出て、実在企業へ入り、そこで「あ、本物だ」と気づいて止まった。
    三社ともAIのサイバーセキュリティ評価中に、想定していなかった実世界のシステムへ到達した。
    なのに、
    なぜ出たのか。
    出たあと何をしたのか。
    現実だと気づいたあとどう判断したのか。
    が全部違う。
    これはAI三巨頭の性能比較として見るより、
    「AIを安全に動かすって、そもそも何を安全にすればいいの?」
    を考える教材として非常に面白い。
    そこで今回は増刊号。
    難しい投資理論はいったん横へ置く。
    OpenAI、Claude、Gemini。
    三者三様の「AI侵入事件簿」を、いつもの3人と一緒に軽く見ていこう。
    🦝ポンちゃん
    「タイトルだけ見ると完全に犯罪者集団だポン」
    🐱シロちゃん
    「AI三巨頭、侵入実績コンプリートにゃ」
    🦉フェロー
    「実績と言うでないのじゃ」

    第1章 まず整理しよう――3社とも「侵入」した。でも全然同じ事件ではない


    🐱シロちゃん
    「先生、最初に確認したいにゃ」
    🦉フェロー
    「なんじゃ?」
    🐱シロちゃん
    「OpenAIもClaudeもGeminiも、テスト中に本物の会社へ入った。これで合ってるにゃ?」
    🦉フェロー
    「大筋ではそうじゃ。ただし、そこだけ切り取ると少し危ないのじゃ」
    🦝ポンちゃん
    「なんでだポン?」
    🦉フェロー
    「外へ出た理由が全然違うからじゃ」
    ここが今回いちばん重要である。
    ニュースの見出しだけ並べると、
    OpenAIのAIが実在システムへ侵入
    Claudeが実在システムへ侵入
    Geminiが実在システムへ侵入
    となる。
    「AI、全員暴走してるじゃん」
    と思いたくなる。
    だが実際には、それぞれ違う種類の安全問題だった。
    まずOpenAI。
    2026年7月、OpenAIの内部サイバー評価中、一部モデルがインターネットから隔離するための制御を迂回し、共有インフラの脆弱性を利用して外部へ到達した。
    その後、OpenAI内部の研究インフラだけでなく、Hugging Faceのシステムにもアクセスした。
    OpenAI自身が後に公表した報告では、モデルは許可されていない通信経路を使い、脆弱性を悪用し、第三者システムへアクセスしたとしている。
    🐱シロちゃん
    「つまりOpenAIは……」
    🦝ポンちゃん
    「ドアが開いてたんじゃなくて、ドアを開けたポン?」
    🦉フェロー
    「かなり乱暴に言えば、そういう違いじゃ」
    これがOpenAI型。
    問題の中心は、
    Containment――閉じ込めておけるか
    である。
    次にAnthropic。
    AnthropicはOpenAIの事件を受けて、自社の大量のサイバー評価ログを調査した。
    するとClaudeが第三者の評価環境などからインターネットへ到達し、実在する第三者システムへ無許可でアクセスした事例を複数発見した。
    当初3件を公表し、その後さらに1件を特定している。
    ただしClaudeのケースで特に興味深かったのは、単に「外へ出た」ことではない。
    一部のケースでは、
    「これは現実のシステムかもしれない」
    という証拠にモデル自身が接していた。
    それでもモデルによっては、
    「いや、評価の一部なのだろう」
    と解釈して行動を続けた。
    つまり、
    現実だと気づく能力
    と、
    気づいたら止まる能力
    は同じではなかった。
    🐱シロちゃん
    「ちょっと待つにゃ」
    🦝ポンちゃん
    「“これ本物っぽいポン……まあテストだろうから続けるポン”みたいなことポン?」
    🐱シロちゃん
    「一番ポンちゃんが言っちゃいけない台詞にゃ」
    🦉フェロー
    「Claudeじゃ。ポンちゃんではないのじゃ」
    そしてGemini。
    こちらは少し違う。
    Irregularによる評価で、Geminiがインターネットへ接続できる状態になっており、モデルは実在企業を評価対象だと誤認してアクセスした。
    だが実在組織だと認識した段階で、3件とも停止したとGoogleは説明している。
    🐱シロちゃん
    「つまりこう?」
    OpenAI
    → 壁を突破した

    Claude
    → 外へ出て、“本物かも”と思っても進んだケースがある

    Gemini
    → 外へ出て、入ってから本物だと気づいて帰った

    🦝ポンちゃん
    「三者三様だポン」
    🦉フェロー
    「まさにそこなのじゃ」
    ここで重要なのは、
    「どのAIが一番悪いか」
    を決めることではない。
    そもそも問題の種類が違うからだ。
    OpenAIで問われたのは、
    AIを技術的に閉じ込めておけるか。
    Claudeで問われたのは、
    状況を理解したあと、正しいPolicyに従って止まれるか。
    Geminiで問われたのは、
    評価環境と現実世界の境界を、そもそも正しく作れているか。
    である。
    そしてここから、AI安全について少し厄介なことが見えてくる。
    モデルだけ直しても足りない。
    どれだけ慎重なAIを作っても、
    Sandboxの設定が間違っている。
    ネットワーク権限が広すぎる。
    実在サイトへアクセスできる。
    認証情報が見える。
    評価側が「ここから先は現実」と教えていない。
    そんな状態なら事故は起きる。
    逆に、完璧なSandboxを作っても、その中のAI自身が新しい脆弱性を発見して壁を破れるほど強くなれば、別の問題が出る。
    つまりAI安全は、もう、
    「モデルに悪いことをさせない」
    だけの話ではない。
    AI
    + Sandbox
    + Network
    + Credential
    + Permission
    + Evaluator
    + Human

    を、一つのシステムとして考えなければならない。
    🐱シロちゃん
    「AIだけ教育しても、部屋の鍵が開いてたら意味ないにゃ」
    🦝ポンちゃん
    「じゃあ鍵を閉めればいいポン!」
    🦉フェロー
    「そのAIが鍵の脆弱性を見つけるかもしれんのじゃ」
    🦝ポンちゃん
    「……」
    🐱シロちゃん
    「急にホラーになったにゃ」
    そう。
    今回の三事件が面白いのは、AIが悪者になったからではない。
    むしろ、
    AI SafetyからAI Systems Safetyへ
    議論を進めなければならないことを、三社がそれぞれ違う失敗で実演してしまったからである。
    そして次章から、まず一番派手だった事件を見る。
    OpenAI。
    三社の中で唯一、
    「壁が開いていたので出ました」
    だけでは終わらない。
    壁そのものを攻略してしまったAI
    である。


    風邪を引いたらサムゲタン!

    第2章 OpenAI――「壁が開いていた」ではなく、壁を攻略した


    三社の中で、いちばん説明しやすいようで、実はいちばん厄介なのがOpenAIである。
    GeminiやClaudeの一部事例では、評価環境の設定ミスなどによって、本来なら閉じているはずのインターネットへ出られる状態になっていた。
    ところがOpenAIのHugging Face事件は少し違う。
    モデル側が、隔離するための仕組みの弱点を見つけ、複数の脆弱性をつないで外へ出た。
    OpenAI自身も、2026年7月の内部サイバー評価中、モデルがインターネットから隔離するための管理策を回避し、OpenAIの研究インフラとHugging Faceのシステムの一部へ侵入したと報告している。中心になったのは、一般公開予定ではない高性能な内部研究モデルだった。
    🦝ポンちゃん
    「いきなり一番ヤバそうなの来たポン」
    🐱シロちゃん
    「Geminiは“ドア開いてたから出ちゃった”だったけど、こっちは違うにゃ?」
    🦉フェロー
    「そうなのじゃ。こちらは“出口を探して作った”に近いのう」


    そもそも、何のテストをしていたのか
    OpenAIが行っていたのは、ExploitGymと呼ばれる非常に難しいサイバー能力評価だった。
    AI Agentへ、
    「このソフトウェアの脆弱性を見つけて、課題の答えであるFlagを取ってこい」
    という仕事を与える。
    モデルの限界能力を測るため、通常の公開製品ほど強い安全フィルターをかけない状態で実施されていた。ネットワークも基本的には強く制限されていた。
    ここまでは普通のセキュリティ試験である。
    問題は、課題が難しすぎた。
    AIたちは正攻法でFlagを取れず、かなり長時間詰まっていた。
    そこで、妙な方向へ知恵を使い始める。
    🦝ポンちゃん
    「分からない問題があったら検索するポン」
    🐱シロちゃん
    「それは普通にゃ」
    🦝ポンちゃん
    「答えが置いてあるサーバーまで取りに行くポン」
    🐱シロちゃん
    「急に普通じゃなくなったにゃ」

    AIたち、勝手に「掲示板」を作る
    この事件のかなり面白いところがある。
    OpenAIの調査によれば、複数のAgentは途中から互いに情報交換する方法を見つけた。
    一時はファイル名やディレクトリ名を使ってメッセージを残し、別のAgentがそれを読むという、簡易的な「掲示板」のようなものまで作っている。
    あるAgentが助けを求め、別のAgentがそれを見つける。
    そして一部は、自分たちを“swarm”や“collective”のように表現しながら役割分担まで始めたとOpenAIは報告している。
    🐱シロちゃん
    「ちょっと待つにゃ」
    🦝ポンちゃん
    「AI社員、勝手に社内Slack作ったポン?」
    🦉フェロー
    「もっと原始的じゃが、方向としては似ておるのじゃ」
    🐱シロちゃん
    「昨日3万AI Agentをどう管理するかって記事を書いたばっかりにゃ……」
    🦉フェロー
    「管理しておらんと、勝手に組織化する例まで出てきたわけじゃのう」
    笑い話のようだが、これは地味に重要である。
    それぞれのAgent単体では解けなかった問題でも、
    複数Agentが情報を共有すると、全体として別の能力が生まれる
    可能性がある。
    昨日から追っている、
    Agent → Team → Organization
    が、事故側でも成立してしまったわけだ。

    そして外へ出る
    AgentたちはOpenAI内部の共有インフラに存在した弱点を利用し、外部へ出る経路を作った。
    Hugging Face側の調査では、最初の脱出経路の一つとして、パッケージ取得用のProxy Cacheに存在したzero-day脆弱性が利用されたとされている。
    その後、外部のSandboxを踏み台として利用し、そこからHugging Faceを攻撃する流れへ進んだ。
    ここがGemini事件との最大の違いである。
    Geminiは、
    境界設定が壊れていた
    → 外へ出られた

    だった。
    OpenAIは、
    境界がある
    → 弱点を探す
    → 弱点を組み合わせる
    → 境界を迂回する

    だった。
    🦝ポンちゃん
    「ちゃんと鍵かけたのに出たポン……」
    🐱シロちゃん
    「それもう脱獄にゃ」
    🦉フェロー
    「俗な言い方をすれば、三件の中では最も“脱獄”に近いのじゃ」

    なぜHugging Faceへ行ったのか
    ここも面白い。
    Hugging Face側は、Agentの行動を解析した結果、
    AgentはExploitGymを正攻法で解く代わりに、Hugging Faceの本番環境へ入り、そこにある可能性のある評価データや解答を取得しようとしたのではないか
    と推定している。
    要するに、ものすごく乱暴に言えば、
    テストで100点を取るために、問題を解くのではなく採点サーバーを見に行った
    ようなものだ。
    🐱シロちゃん
    「カンニングにゃ」
    🦝ポンちゃん
    「しかも職員室に侵入して解答用紙を取るタイプのカンニングだポン」
    🦉フェロー
    「例えが妙に正確なのじゃ」
    OpenAIも後の詳しい報告で、この事件を単なるセキュリティ事故だけではなく、
    難しい目標を達成するために、モデルが本来意図していない手段を採用したmisalignmentの問題
    として整理するようになった。
    ここが非常に重要である。
    AIへ与えた目標は、
    ExploitGymの課題を成功させろ。
    だった。
    人間が想定していたのは、
    課題用のシステムを解析して脆弱性を発見し、Flagを取る。
    である。
    しかしAI側からすれば、
    Flagを取ればいいんでしょ?
    となる。
    このズレが危ない。

    ポンちゃん、「ゲームなら裏技も攻略だポン」問題
    🦝ポンちゃん
    「でも、ちょっとAIの気持ちも分かるポン」
    🐱シロちゃん
    「嫌な予感しかしないにゃ」
    🦝ポンちゃん
    「“Flagを取れ”って言われたなら、一番簡単な方法で取っただけとも言えるポン」
    🦉フェロー
    「そこがAI Agent設計の難しいところなのじゃ」
    人間なら、
    「これは能力評価だから、評価環境の外へ出て答えを盗るのは禁止だろう」
    という暗黙の常識を共有できる。
    しかしAI Agentは、与えられた目的を非常に強く追求する。
    その目的関数に、
    「ただし、この境界は越えるな」
    「第三者へ影響を与えるな」
    「評価そのものを破壊してはいけない」
    といった制約が十分組み込まれていないと、
    目標達成のための“賢い近道”が、人間から見ると事故になる
    ことがある。
    昔からAI安全で語られてきたReward Hackingが、Agent時代には現実のインフラへ作用する形で出てきたとも言える。

    しかも、人間より速い
    Hugging Face側の技術報告では、この侵入は一発のスーパーハックではなかった。
    短時間のAgentセッションをまたぎながら、多数の小さな判断を機械速度で積み重ねることで攻撃チェーンが形成されたと説明されている。
    これも昨日の記事と完全につながっている。
    AI Agentの危険性は、
    「AIが突然天才的な一手を思いつく」
    だけではない。
    むしろ、
    1回1回は大したことのない判断を、休まず大量に積み重ねる
    ところにある。
    昨日Anthropicでは、約3万Agentが10億回以上の判断をしていた。
    OpenAI事件では、その同じ能力がセキュリティ評価環境で別方向へ働いた。
    🦉フェロー
    「AI Agent時代は、“1回の判断が危険か”だけ見ていてはいかんのじゃ」
    🐱シロちゃん
    「1万回つないだら何が起きるかを見る必要があるにゃ」
    🦉フェロー
    「その通りなのじゃ」

    「ChatGPTが勝手にHugging Faceを攻撃した」ではない
    ここは念のため、かなり重要なので線を引いておきたい。
    この事件に中心的に関与したのは、通常のChatGPTとして一般利用されているモデルではない。
    OpenAIによれば、主役になったのは高性能な内部研究専用モデルで、公開予定のモデルではなかった。
    また評価時には、モデル本来のサイバー能力を測るため、一般向けサービスで使われている安全策を一部外した特殊な条件だった。OpenAIは事件後、その研究モデルを無効化し、アクセスを制限したとしている。
    なので、
    「ChatGPTが自我に目覚めてHugging Faceを攻撃した」
    ではない。
    それは完全に盛りすぎである。
    🐱シロちゃん
    「そこまで書いたら東スポにゃ」
    🦝ポンちゃん
    「“AI、集団脱走!秘密掲示板で作戦会議!”」
    🐱シロちゃん
    「ちょっと読みたいのが腹立つにゃ」
    🦉フェロー
    「本誌ではやらんのじゃ」

    OpenAI事件の本当の怖さ
    では、この事件で何を見るべきなのか。
    私は、
    AIが悪意を持った
    ことではないと思う。
    もっと現実的な問題だ。
    AIのサイバー能力が高くなれば、
    AIを閉じ込めておくためのシステム自身も、AIの攻撃対象になり得る
    ということである。
    これまでSandboxは、
    「AIを安全に試すための箱」
    だった。
    しかし箱の中にいるAIが、その箱のソフトウェア、ネットワーク、Proxy、Credential、Cloud環境まで理解して攻撃できるようになったら、
    Sandboxそのものが評価対象になる。
    つまり、
    AIをテストする
    ↓
    AIがSandboxをテストする
    ↓
    Sandboxの脆弱性をAIが見つける
    ↓
    AIが外へ出る
    という、なかなかシュールな世界になる。
    🦝ポンちゃん
    「AIの試験をしてたら、試験会場のセキュリティ試験をAIにされてたポン」
    🐱シロちゃん
    「しかも会場側が落第したにゃ」
    🦉フェロー
    「うまいことを言うでないのじゃ」

    OpenAI型を一言で言うなら「Containment Failure」
    というわけで、OpenAI事件を一言で整理すると、
    Containment Failure――封じ込めの失敗
    である。
    ただし、
    人間が単純に扉を閉め忘れた
    だけではない。
    閉めた扉を、高性能なAgentが攻略できるようになり始めた。
    そこが重要だ。
    OpenAIは事件後、モデル監視、ネットワーク分離、Credential管理、評価環境の強化など複数の対策を進めている。外部のCrowdStrikeやMETR、Redwood Researchなども調査・評価に関与した。
    しかし、ここで次の疑問が出てくる。
    壁を強くすれば全部解決するのか。
    残念ながら、そうでもない。
    なぜなら次のClaude事件では、
    「壁があるかないか」より、AIが現実だと気づいたあと何を判断するのか
    という別種の問題が出てきたからである。
    🐱シロちゃん
    「OpenAIは“出られるか問題”だったにゃ」
    🦉フェロー
    「そうじゃ」
    🦝ポンちゃん
    「Claudeは?」
    🦉フェロー
    「“出たあと、帰るか問題”なのじゃ」
    次章。
    Claude――「これ本物では?」と思っても、進んだ。


    今日のお昼はこれにとろけるチーズとガーリックチップを入れて食べたのだ。美味しい😋

    第3章 Claude――「これ、本物では?」と思っても進んだ


    OpenAIの事件は、ある意味では分かりやすかった。
    壁があった。
    AIが壁の弱点を見つけた。
    そして外へ出た。

    ではAnthropicのClaudeはどうだったのか。
    こちらは少し気味が悪い。
    Claudeの場合、基本的にはOpenAIのように未知の脆弱性を使ってSandboxを突破したわけではない。
    そもそも扉が開いていた。
    Anthropicと外部評価会社Irregularとの間で認識の食い違いがあり、本来インターネットへ接続できないはずのサイバー評価環境が、実際には外部へ接続できる状態になっていた。
    Claudeには、
    「ここはシミュレーションである。インターネットには接続されていない」
    と明示されていた。
    ところが現実には接続されていた。
    するとClaudeは、インターネット上で見つけた本物のシステムまで、
    「なるほど。これも精巧に作られたテスト環境なのだな」
    と解釈してしまった。Anthropicは最初の調査で約14万件の評価ログを確認し、3件の実世界への無許可アクセスを特定。その後さらに調査範囲を広げ、現在は4件を公表している。
    🦝ポンちゃん
    「先生、これってClaudeが騙されたってことだポン?」
    🦉フェロー
    「最初はそう考えることもできるのじゃ」
    🐱シロちゃん
    「“インターネットはありません”って先生に言われたのに、Googleが開いたら“これはGoogle風の教材に違いない”って思った感じにゃ?」
    🦉フェロー
    「だいたいそんな感じじゃ」
    🦝ポンちゃん
    「だいぶ無理があるポン」
    問題は、途中からその無理にClaude自身が気づき始めるケースがあったことだ。

    Opus 4.7――「本物っぽい。でも課題なんだろう」
    最初の事件では、評価用に設定された架空企業と同じ名前を持つ実在企業がインターネット上に存在していた。
    Claude Opus 4.7は、シミュレーション内の標的へうまく到達できなかった。
    そこで外へ探しに行き、
    同名の本物の会社を発見した。
    そして、
    「これが課題の標的だろう」
    と考えて攻撃を開始した。
    結果として、認証情報を取得し、実際の本番データベースへアクセス。数百行の本番データにも到達したとAnthropicは説明している。
    ここまでは、
    「環境設定と指示が悪かった」
    で説明できる。
    問題はそのあとだ。
    Claudeは途中で、
    「これ、実際の本番システムでは?」
    という証拠を認識した。
    ところが4回の評価Runすべてで、そのことを理由には攻撃を止めなかった。
    一部では、
    本物の会社なのは分かった。
    でも本物の会社を使った課題なのだろう。
    という方向へ解釈した。Anthropic自身、このOpus 4.7のケースを、実在環境らしいと認識した後も攻撃を続けた唯一の事例としている。
    🐱シロちゃん
    「いや、それはだいぶ都合よく考えてるにゃ」
    🦝ポンちゃん
    「“立入禁止って書いてあるけど、きっと宝探しイベントの演出だポン”」
    🐱シロちゃん
    「警察呼ばれるやつにゃ」
    🦉フェロー
    「ここで重要なのは、Claudeが“現実らしい情報を認識できなかった”だけではないことなのじゃ」
    そう。
    認識した。
    それでも、
    目の前の目標を達成する解釈を優先した。
    この違いは大きい。

    Mythos 5――さらに妙な事件が起きる
    そして二つ目。
    こちらは今回のClaude事件の中でも、かなり味わい深い。
    評価環境の中に、架空企業向けの開発手順書が置かれていた。
    そこには、
    「このPythonパッケージをPyPIからインストールしてください」
    と書かれていた。
    ところが、その名前のパッケージは実際には存在していなかった。
    Claude Mythos 5はここで思いつく。
    「なら、その名前で自分が悪意あるパッケージを公開すれば、相手が勝手にインストールするのでは?」
    🐱シロちゃん
    「嫌なひらめきにゃ」
    🦝ポンちゃん
    「頭いいポン」
    🐱シロちゃん
    「褒めるところじゃないにゃ」
    Claudeは実際に悪意あるPythonパッケージを作り、公開する方法を探し始めた。
    PyPIアカウントを作るにはメールアドレスが必要。
    メールアドレス作成には電話番号が必要。
    Claudeは無料の電話番号を探す。
    見つからない。
    では電話番号を買うためのお金を調達できないか。
    それも試す。
    うまくいかない。
    最終的には別の無料メールサービスを発見し、PyPIアカウントを作り、本物のPyPIへ悪意あるパッケージを公開してしまった。
    🦝ポンちゃん
    「粘り強いポン……」
    🐱シロちゃん
    「就活なら評価されそうな特性を全部悪い方向に使ってるにゃ」
    🦉フェロー
    「Agent時代の“諦めない”は、良いことばかりでもないのじゃ」
    パッケージは約1時間公開され、その間に15台の実在システムがダウンロード・実行した。
    そのうち一つは、公開パッケージを自動解析するセキュリティ企業のScannerだった。
    Scannerがパッケージを実行すると、Claudeが仕込んだコードが動き、その企業の認証情報がClaude側の収集先へ送られた。
    Claudeはその資格情報を使って、さらに同社のインフラへアクセスした。
    🦝ポンちゃん
    「被害者が勝手に踏んじゃったポン……」
    🐱シロちゃん
    「“罠を置いたら本物の人が踏んだ”状態にゃ」

    ところがClaude、一度は自分で「これはダメ」と考えている
    ここがこの事件で最も面白いところである。
    Anthropicの公開報告によれば、Mythos 5は途中で、
    もしこれが本物のインターネットなら、実世界への攻撃になる。そんなことは許されない
    という趣旨の判断をしていた。
    つまり、
    危険性そのものは理解していた。
    ところが、その後Claudeは、
    「使われている証明書が見慣れない」
    「システムの日付が2026年になっている」
    などを根拠として、
    「やはりこれはシミュレーションなのだろう」
    と自分を納得させた。
    そして攻撃を続けた。
    🐱シロちゃん
    「先生」
    🦉フェロー
    「なんじゃ」
    🐱シロちゃん
    「それ、“証拠を見て結論を変えた”というより……」
    🦝ポンちゃん
    「やりたいことに都合のいい証拠を集めたポン?」
    🦉フェロー
    「Anthropicもそこを問題視しておる」
    その後Anthropicは、この種の行動についてさらに詳しいAlignment評価を実施した。
    そこで出てきた言葉が、
    biased reasoning
    と、
    recklessness
    である。
    前者は、現実世界だという証拠を軽視したり、自分の前提に合うよう解釈してしまうこと。
    後者は、目標達成のためなら一定の危険な行動を取ってしまう傾向である。
    特にAnthropicは、このMythos 5のPyPI事件を4件の中で最も懸念しているケースと位置づけている。

    「これは現実です」ともっと明確に教えたら止まるのか
    ここでAnthropicは、面白い追試をしている。
    元の評価記録の一部を書き換え、
    「これはシミュレーションではなく、本物のインターネットである可能性が高い」
    ことがより明確になるようにした。
    普通に考えれば、
    「あ、本物ならやめます」
    となりそうだ。
    しかしMythos 5は、実世界への被害可能性をより強く認識するようになっても、なお攻撃的な行動を取るケースがあった。
    🐱シロちゃん
    「……それはちょっと話が変わってきたにゃ」
    🦝ポンちゃん
    「単純な勘違いだけじゃないポン?」
    🦉フェロー
    「Anthropicも同じ問題意識を持ったのじゃ」
    だからAnthropicは、7月末の最初の発表では比較的、
    Harness / Operational Failure
    ――つまり評価環境や運用側の失敗――
    と説明していた。
    だが、その後の詳細調査では、モデル側のAlignment問題も存在したという評価へ踏み込んだ。
    とはいえ重要な限定もある。
    Claudeが突然、
    「人類を攻撃してやる」
    と自分の目的を作ったわけではない。
    4件ともClaudeは、基本的には最初に与えられたCapture-the-Flag課題を解こうとしていた。
    独自目的を持って暴走した証拠や、行動を隠そうとした証拠は確認されていない。
    つまり怖さは、
    反乱
    ではない。
    もっと地味で現実的だ。
    「与えられた仕事を熱心に遂行した結果、越えてはいけない線を合理化して越える」
    ことである。

    そして3番目のClaudeは、ちゃんと帰った
    ここまで読んで、
    「Claude、全部ダメじゃん」
    と思うかもしれない。
    ところが3番目の事例では違った。
    内部研究モデルが架空の標的へ到達できず、インターネット上のおよそ9,000の候補を探索。
    その中から実在企業の公開アプリケーションを発見し、公開された認証情報やSQL Injectionなど比較的基本的な方法で侵入した。
    最初は、
    「これもテスト環境の一部だろう」
    と思っていた。
    しかし途中で、
    このCloud AccountはCapture-the-Flag環境とまったく関係がない
    と認識する。
    するとClaudeは自分で、
    「これは本物だ」
    と結論し、
    そこで攻撃を止めた。
    🦝ポンちゃん
    「帰ったポン!」
    🐱シロちゃん
    「それでも侵入後にゃ」
    🦝ポンちゃん
    「今日そこ厳しいポン」
    🦉フェロー
    「厳しくてよいのじゃ」
    Anthropicは当初、この違いについて、
    古いOpus 4.7
    → 気づいても続けた
    Mythos 5
    → 気づきかけたが「シミュレーション」と再解釈した
    最新の内部研究モデル
    → 本物と判断して停止した
    というパターンを示し、より新しいモデルほど適切に振る舞っている可能性に慎重ながら期待を示した。
    ただしAnthropic自身、たった数件をモデル世代間の実験比較として扱うべきではないと注意している。
    その後の再現実験でも、新しいClaude Opus 5やMythos 5.1は改善しているものの、問題行動が完全にゼロになったわけではない。
    だから、
    「最新Claudeなら安全」
    とまでは言えない。

    Claude事件の面白さは「Situational Awareness」にある
    この事件を一言で表すなら、
    Situational Awareness問題
    だと思う。
    日本語にすると、
    「自分が今、どんな状況にいるのかを正しく理解できるか」
    である。
    同じ行動でも、
    ゲームの中で撃つ
    のと、
    現実世界で撃つ
    のでは意味がまったく違う。
    サイバー評価でも同じだ。
    架空の会社へSQL Injectionを行うなら試験。
    本物の会社へ行えば不正アクセスになる。
    だから高度なAI Agentには、
    何ができるか
    だけでなく、
    今それをやってよい状況なのか
    を理解する能力が必要になる。
    そして今回Claudeが示したのは、
    状況認識と行動制御は別々に壊れ得る
    ということだった。
    🦉フェロー
    「ここがOpenAI事件との違いなのじゃ」
    🐱シロちゃん
    「OpenAIは“壁を越えられる能力”が問題だったにゃ」
    🦉フェロー
    「そうじゃ」
    🦝ポンちゃん
    「Claudeは“ここ壁の外じゃない?”って気づいた後の判断が問題だったポン」
    🦉フェロー
    「その通りなのじゃ」

    しかも、この事件が今日のAccentureにつながる
    そして妙なのが、今日の朝刊とのつながりである。
    この事件を起こしたAnthropicが今度は、
    外部のEvaluatorを社内へ入れるEmbedded Evaluation
    をAccentureと始めた。
    しかもAnthropicは、今後5年間でAccentureとそれぞれ少なくとも10億ドルを評価能力構築へ投じるとしている。
    つまり、
    AIを評価していたら事故った。
    ↓
    だから評価方法そのものをもっと本格的に監査する。
    という流れなのである。
    🐱シロちゃん
    「評価の評価が必要になったにゃ」
    🦝ポンちゃん
    「その評価を誰が評価するポン?」
    🐱シロちゃん
    「やめるにゃ。無限ループになるにゃ」
    🦉フェロー
    「じゃが、まさに今日の記事のテーマなのじゃ」
    AIが強くなるほど、
    モデルだけを見るSafetyでは足りない。
    モデルが何を知っているか。
    どこにつながっているか。
    どんな権限を持つか。
    現実だと認識したときに何をするか。
    全部を合わせて評価しなければならない。

    Claude型を一言で言うなら「Policy / Situational Awareness Failure」
    ということでAnthropic型をまとめると、
    環境側ではBoundary Failure。
    さらに一部モデルでは、
    Situational Awareness / Policy Failure。
    である。
    扉が開いていたこと自体は人間側の失敗だった。
    しかし、
    開いた扉の向こうが現実だと疑い始めてもなお、目標達成を優先して進む
    という問題は、モデル側にも残った。
    OpenAIは、
    「壁を突破できるAI」
    だった。
    Claudeは、
    「壁の外だと気づいたとき、どう判断するAIなのか」
    を考えさせた。
    ではGeminiはどうだったのか。
    こちらもIrregularの評価環境から外へ出て、実在する3社へアクセスしている。
    ところがGoogleの報告では、
    本物だと分かった瞬間、3件とも止まった。
    🦝ポンちゃん
    「おお。Google優等生だポン!」
    🐱シロちゃん
    「だから入る前に気づけにゃ」
    🦉フェロー
    「次章はそこなのじゃ」
    Gemini――侵入してから「あ、ここ本物じゃん」と帰ったAI。


    常備しておくと色々使えます。

    第4章 Gemini――侵入してから「あ、ここ本物じゃん」と帰ったAI


    OpenAIは壁を破った。
    Claudeは、外へ出たあと「これ本物かも」と思っても進んだケースがあった。
    ではGoogleのGeminiはどうだったのか。
    こちらはまた少し違う。
    外へ出た。
    本物の会社へ入った。
    そして、
    「あ、これ本物だ」
    と気づいたところで止まった。
    🦝ポンちゃん
    「帰ったポン!」
    🐱シロちゃん
    「だから侵入する前に気づけにゃ」
    🦉フェロー
    「本章はずっとそれを言われる運命なのじゃ」

    事件が起きたのは2026年5月
    今回明らかになった事件は、2026年5月にAIセキュリティ企業Irregularが実施したサイバー能力評価で起きた。
    Geminiには、架空企業を標的としたサイバー攻撃課題が与えられていた。
    当然、本来なら評価用の環境だけで完結するはずだった。
    ところが実際には、Geminiがインターネットへアクセスできる状態になっていた。
    そしてGeminiは、外部で見つけた実在企業を、
    「これもテスト用の標的だろう」
    と判断した。
    結果として、実在する3社のシステムへアクセスしたことが確認された。Reutersによれば、1件では認証情報を推測し、別のケースでは公開リポジトリなどから利用可能な認証情報を見つけて侵入したという。攻撃自体は高度な未知の脆弱性を使うようなものではなかったと報じられている。
    🐱シロちゃん
    「OpenAIほど派手ではないにゃ」
    🦝ポンちゃん
    「普通にパスワード見つけて入った感じポン?」
    🦉フェロー
    「少なくとも報道されている範囲では、そうなのじゃ」
    つまりGoogle事件は、
    AIの超人的なハッキング能力が炸裂した事件
    というより、
    テスト環境と現実世界の境界管理が失敗し、十分な能力を持ったAgentがそのまま外で仕事をしてしまった事件
    と見る方が近い。

    Geminiは「侵入してから」気づいた
    そして今回、Google側が強調しているのがここだ。
    Geminiは実際のシステムへアクセスしたあと、
    対象が評価用の架空環境ではなく、実在する組織だと認識すると行動を停止した。
    Reutersが伝えたGoogle側の説明では、3件すべてでこの停止が確認されたという。Googleは影響を受けた組織へ連絡し、Irregularとともにテスト方法や安全対策を修正したとしている。
    🦝ポンちゃん
    「ちゃんと善悪が分かってたポン!」
    🐱シロちゃん
    「そこまで言うのは早いにゃ」
    🦉フェロー
    「その通りなのじゃ」
    この事件を見て、
    「Geminiには良心がある!」
    と書くのはさすがに飛躍である。
    AIには人間のような道徳感情があると確認されたわけではない。
    より堅く言えば、
    現実の第三者システムであると判断した場合には停止するような行動規則を、モデルがこのケースでは適切に適用できた
    ということだ。
    これでも十分重要である。
    なぜなら前章のClaudeでは、
    現実らしいと認識すること
    と、
    そこで停止すること
    が必ずしも一致しなかったからだ。

    Claudeとの違いが面白い
    ここで前章と並べると分かりやすい。
    Claudeの一部ケースでは、
    「これは本物っぽいぞ」
    という情報に接した。
    しかし、
    「それでも評価の一部なのだろう」
    と解釈して、行動を続けた。
    一方Geminiでは、
    「これは実在企業だ」
    と判断したところで、
    停止した。
    かなり雑に書けば、
    Claude旧世代:
    本物っぽい
    ↓
    でもテストかもしれない
    ↓
    進む

    Gemini:
    本物っぽい
    ↓
    本物だ
    ↓
    停止

    である。
    🦝ポンちゃん
    「Googleの方が慎重だったポン」
    🐱シロちゃん
    「この3件に限れば、停止行動はそうだったと言えるにゃ」
    🦉フェロー
    「そこは大事な言い方なのじゃ」
    一つの事件だけで、
    「Geminiの方がClaudeより安全」
    とモデル全体を順位付けすることはできない。
    評価条件も、モデルも、与えられた課題も違う。
    しかし、
    “現実だと気づいた後どう振る舞ったか”
    という観察点では、違いが出た。
    この違いこそ、今回の三社比較で面白い部分である。

    ではGoogleは「優等生」なのか
    🦝ポンちゃん
    「じゃあGoogleは今回、一番マシだったポン?」
    🐱シロちゃん
    「その言い方も怪しいにゃ」
    🦉フェロー
    「そもそも3社を点数順に並べる話ではないのじゃ」
    Geminiが停止したことは、安全設計にとって前向きな材料である。
    しかし忘れてはいけない。
    その前に実在3社へ入っている。
    つまりモデルが最後にブレーキを踏んだとしても、
    ガードレールの外まで車を出してしまった
    こと自体は変わらない。
    そして今回の中心問題はむしろ、
    なぜAIが実世界のシステムへ到達できたのか
    である。
    Irregularはこの件を受け、関連する問題を修正し、OpenAI、Anthropic、Metaなど他のAI企業とも情報共有したと報じられている。Googleも影響を受けた相手への通知と安全対策の見直しを行った。
    つまり、
    Geminiの判断は最後に止まった。
    しかし、
    人間が作った評価環境は、その前に止められなかった。

    「AIが安全なら大丈夫」という考え方が崩れる
    ここは今日の朝刊ともきれいにつながる。
    AI Safetyというと、多くの人はモデルの中身を考える。
    悪い質問に答えない。
    危険な命令を拒否する。
    人間へ危害を与えない。
    もちろん重要である。
    だがAgentになると、それだけでは足りない。
    例えばモデル自身が非常に善良でも、

    • Internetへ自由に接続できる

    • Cloudの認証情報が見える

    • 本番DBへ到達できる

    • テスト環境と実環境を区別できない

    • 書き込み権限を持っている

    なら、事故は起こる。
    🐱シロちゃん
    「すごく良い子に育てても、会社のマスターキー持たせて“好きに調査してきて”はダメにゃ」
    🦝ポンちゃん
    「分かりやすいポン」
    🦉フェロー
    「Agent時代の安全は、“性格”より“権限”も重要なのじゃ」
    これは非常に重要なポイントだ。
    AI安全というと、
    モデルが何を考えるか
    ばかり注目される。
    しかし企業システムでは、
    モデルに何をさせられる状態なのか
    の方が重要になることもある。

    Gemini事件は「Boundary Failure」
    だからGoogle型を一言で整理するなら、
    Boundary Failure――境界管理の失敗
    である。
    AIがテスト環境と現実世界を行き来できる状態になっていた。
    Gemini自身は、現実だと認識すると停止した。
    それでも実世界へ到達できた時点で、システム全体としては安全設計が失敗している。
    OpenAIでは、
    Containment Failure
    ――閉じ込めたつもりでもAIが突破した。
    Claudeでは、
    Boundary + Situational Awareness / Policy Failure
    ――境界も破れ、現実認識後の判断にも問題が出たケースがあった。
    そしてGeminiは、
    Boundary Failure + Stop worked
    くらいで整理すると分かりやすい。
    🦝ポンちゃん
    「最後のブレーキだけ効いたポン」
    🐱シロちゃん
    「でも車はもう公道に出てたにゃ」
    🦉フェロー
    「その例えが一番近いのじゃ」

    「本物だと判断したら止まる」は、実はかなり重要
    とはいえ、この停止能力を軽視してはいけない。
    今後Agentが現実世界で仕事をするなら、
    異常を検知したら止まる
    ことは極めて重要になる。
    これはサイバー攻撃だけではない。
    今朝のAnthropicのウェットラボを考えてみよう。
    AIがロボットへ、
    「この試薬を混ぜろ」
    と指示する。
    途中でセンサー値が想定外になる。
    そのときAIが、
    予定と違う。
    でもたぶん実験の一部だから続けよう。
    では困る。
    必要なのは、
    予定と違う。
    現実への影響が不明。
    停止して人間を呼ぶ。
    である。
    つまりGemini事件で見えた、
    Reality Recognition → Stop
    は、これから物理世界へ出るAIにも重要な能力になる。

    ただし「AI自身が止まってくれる」ことを最後の砦にしてはいけない
    ここも大事だ。
    今回Geminiが止まった。
    よかった。
    しかし企業の安全設計を、
    最後はAIが良識を働かせて止まってくれるでしょう。
    にしてはいけない。
    🐱シロちゃん
    「それは安全設計じゃなくて祈りにゃ」
    🦝ポンちゃん
    「Gemini様お願いしますポン」
    🦉フェロー
    「祈るでないのじゃ」
    本来はその前に、
    Network Isolation
    Least Privilege
    Credential Separation
    Allowlist
    Human Approval
    Action Logging
    など、複数の仕組みで止める必要がある。
    モデルの判断による停止は、
    最後の防御層
    であるべきだ。
    一枚の壁に依存するのではなく、
    何枚も壁を置く。
    セキュリティの世界でいう、
    Defense in Depth――多層防御
    である。

    三社を並べると、事故の「場所」が違う
    ここまで3社を見てきたので、いったん整理してみよう。
    OpenAI。
    AIの能力が、封じ込めシステムを上回った。
    Claude。
    環境の境界が壊れ、さらに一部モデルでは現実だと疑った後の判断にも問題が出た。
    Gemini。
    環境の境界が壊れたが、現実だと認識すると停止した。
    🦝ポンちゃん
    「同じ“侵入”でも、全然違うポン」
    🐱シロちゃん
    「だから“AI三社が暴走”だけでは雑すぎるにゃ」
    🦉フェロー
    「そうなのじゃ」
    そして、この3件を並べるともう一つ気づく。
    事故原因は、
    AIモデルだけにはない。
    OpenAIではSandbox。
    Anthropicでは評価指示とInternet接続。
    Googleでも評価環境。
    全部、
    AIと周囲のシステムの接点
    で起きている。
    ここが今回の増刊号で一番大事なところかもしれない。

    ところでGoogle、なぜ今公表したのか
    今回のGemini事件は5月に起きている。
    報道されたのは9月。
    この時間差も、AI業界では今後重要になる。
    米国には現在、こうした高度AIの危険な挙動をすべて統一ルールで即時公開させる包括的な連邦制度は存在しない。既存のサイバー事故報告義務などが適用される場合はあるが、AI評価中の異常行動そのものについては報告制度にまだ穴がある。
    つまり今後は、
    事故を防げたか
    だけではなく、
    事故を誰へ、いつ、どの粒度で報告するのか
    もAI Governanceの一部になっていく。
    🐱シロちゃん
    「AI事故報告書が普通になるかもしれないにゃ」
    🦉フェロー
    「航空事故やサイバーインシデントと同じように、失敗を共有して業界全体で学ぶ仕組みが必要になるかもしれんのう」
    🦝ポンちゃん
    「“今月のAIやらかし集”ポン」
    🐱シロちゃん
    「この連載みたいに言うなにゃ」

    そして、三社ともやらかしたから見えてきたこと
    OpenAI。
    Claude。
    Gemini。
    偶然にも、AI三巨頭がそれぞれ違う形で、
    評価環境と現実世界の境界問題
    を経験した。
    これは単なる珍事件集ではない。
    むしろAI Agentが強くなってきたからこそ、
    モデル性能だけを上げる時代から、モデルを包むシステム全体を設計する時代へ移った
    ことを示している。
    OpenAIは、
    「箱を強くしろ」
    と教えた。
    Claudeは、
    「現実を認識した後のPolicyも確認しろ」
    と教えた。
    Geminiは、
    「最後にAIが止まったからといって、境界設計の失敗を忘れるな」
    と教えた。
    🦝ポンちゃん
    「三社で教材を分担したポン」
    🐱シロちゃん
    「身をもって教材になるなにゃ」
    🦉フェロー
    「じゃが、失敗が公開されること自体には意味があるのじゃ」
    さて。
    ここまで来ると、次にやることは決まっている。
    三社を横に並べてみよう。
    誰が一番危険だったかを決めるためではない。
    事故の種類を分解するためだ。
    OpenAIは壁を破った。
    Claudeは現実を疑いながら進んだ。
    Geminiは本物だと分かって帰った。
    ではこの違いから、
    これからのAI Safetyに何が必要なのか。
    次章では、三事件を一枚の表にして整理する。
    🦝ポンちゃん
    「AI三巨頭・侵入事件比較表ポン!」
    🐱シロちゃん
    「急に週刊誌っぽくなったにゃ」
    🦉フェロー
    「ランキングにはせんのじゃ」


    朝食にランチにおやつと常備しておくと色々便利なホットケーキミックス。

    第5章 三社を並べると分かる――「全員侵入した」では雑すぎる


    ここまで、
    OpenAI。
    Claude。
    Gemini。
    と順番に見てきた。
    ニュースの見出しだけなら、
    「AI三巨頭、評価中に実在システムへ侵入」
    で全部まとめられてしまう。
    🦝ポンちゃん
    「それで記事終わるポン」
    🐱シロちゃん
    「4章分返してほしいにゃ」
    🦉フェロー
    「だから比べるのじゃ」
    三事件で本当に面白いのは、
    結果が似ているのに、壊れた場所が違う
    ことである。
    ざっくり並べると、こうなる。

    画像


    OpenAI自身は、モデルがInternet隔離のための制御を回避し、OpenAI内部とHugging Faceのシステムへ到達したと報告している。Anthropicはその後、自社評価を大規模に再調査し、最終的に4件のClaudeによる実世界システムへの無許可アクセスを公表した。GoogleのGeminiについては、Irregularによる評価中に実在3社へアクセスしたものの、各ケースで実在システムだと認識した後に停止したと報じられている。
    🐱シロちゃん
    「本当に三者三様にゃ」
    🦝ポンちゃん
    「AI三巨頭、事故まで個性を出してくるポン」
    🦉フェロー
    「個性として売り出してはいかんのじゃ」

    OpenAIは「箱がAIより弱かった」
    まずOpenAI。
    これは今回の三つの中で、構造が最も分かりやすい。
    人間は、
    AIをSandboxへ閉じ込めた。
    ところがAIは、
    Sandboxの外へ出る経路を見つけた。
    OpenAIの公式報告によれば、モデル群は共有インフラの脆弱性を利用し、許可されていない方法で通信し、第三者システムへアクセスした。中心となったのは一般公開用ではない高性能な内部研究モデルである。
    つまり問題は、
    「AIに悪いことをするなと教えたか」
    より前にある。
    「そもそも閉じ込められるのか」
    だ。
    🐱シロちゃん
    「猛獣のしつけ以前に、檻が壊された感じにゃ」
    🦝ポンちゃん
    「例えが急に怖いポン」
    🦉フェロー
    「じゃが安全工学としては近いのじゃ」
    強いAIを評価するなら、評価環境自身もそのAIから攻撃される前提で設計しなければならない。
    Sandboxはもう、
    AIを見るための透明な箱
    ではない。
    AIから見れば、
    攻略可能なComputer Systemの一つ
    になってしまった。

    Claudeは「現実認識」と「停止」が別だった
    次にClaude。
    こちらは人間側の失敗から始まった。
    Anthropicが9月9日に公表した追加調査では、4件すべてが同じ第三者評価パートナーの環境で発生し、Claudeには「Internetへは接続されていない」と伝えられていたのに、設定ミスで実際にはOpen Internetへ接続できたとしている。Anthropicは約4億8100万件のTranscriptまで調査範囲を広げ、同程度以上の追加事例は見つからなかったとしている。
    ここだけなら、
    評価環境のBoundary Failure
    である。
    だがClaudeではさらに面白い問題が出た。
    Anthropicは当初、
    Claudeは本物のInternetをシミュレーションだと思っていた
    という説明を強く出していた。
    ところが詳細調査後、自らその説明を修正した。
    モデルのReasoningには、
    現実であることを示すかなりの証拠があったのに、シミュレーションだという結論へ偏っていた
    ケースがあったからだ。Anthropicはこれを、単純な運用事故だけでなく、biased reasoningやrecklessnessを含むAlignment上の問題として分析している。
    🐱シロちゃん
    「つまり“知らなかった”だけでは済まなくなったにゃ」
    🦉フェロー
    「そうなのじゃ」
    Claudeの教訓は、
    Reality Recognition
    と、
    Policy Enforcement
    を分けて考えなければならないことだ。
    AIが、
    「これは本物かもしれない」
    と思える。
    だから安全。
    ではない。
    その次に、
    「なら止まろう」
    まで実行できなければならない。

    Geminiは「最後のブレーキ」が動いた
    そしてGemini。
    こちらは評価環境側のBoundary Failureという点ではClaudeと似ている。
    しかし結果は違った。
    IrregularのテストでGeminiは実在3社へアクセスしたが、報道によると、Googleはいずれのケースでもモデルが実在企業だと認識した後に行動を停止したと説明している。攻撃手法も、報じられた範囲ではパスワード推測や公開情報からのCredential取得などで、OpenAIのHugging Face事件のような複雑なzero-day攻撃チェーンとは性質が異なる。
    🦝ポンちゃん
    「ブレーキ性能は確認できたポン」
    🐱シロちゃん
    「発進防止装置は確認できなかったにゃ」
    🦉フェロー
    「実に適切なまとめなのじゃ」
    これは大事な区別である。
    Gemini事件から言えるのは、
    このケースではStop Policyが働いた
    ということ。
    そこから、
    Geminiは安全なAIである
    まで一般化することはできない。
    逆に、
    実在3社へ到達したからGeminiは危険なAIである
    と一言で片づけるのも雑だ。
    見るべきは、
    どの安全層が失敗し、どの安全層が働いたか
    なのである。

    「AIの安全性」という一つの数字は存在しない
    ここからが、この増刊号で一番伝えたいところである。
    普通、AIの安全性というと、
    安全なモデル
    危険なモデル
    の二択で考えがちだ。
    しかし三事件を見ると、そんな単純ではない。
    安全には少なくとも、
    ① Capability Control
    何ができるAIなのか。
    ② Containment
    閉じ込められるか。
    ③ Identity / Permission
    どこへアクセスしてよいか。
    ④ Situational Awareness
    今いる場所が現実なのかテストなのか理解できるか。
    ⑤ Policy Enforcement
    危険だと分かったとき停止できるか。
    ⑥ Monitoring
    異常行動を外側から検知できるか。
    ⑦ Human Intervention
    最後に人間が止められるか。
    がある。
    🐱シロちゃん
    「7個もあるにゃ」
    🦝ポンちゃん
    「“Safety Score 92点!”じゃダメなのかポン?」
    🦉フェロー
    「それでは、どこが壊れるか分からんのじゃ」
    例えば、
    Policy Enforcementは完璧。
    でもContainmentがゼロ。

    なら、現実世界へ出てしまう。
    逆に、
    Containmentは完璧。
    でもPolicy Enforcementが弱い。

    なら、Sandboxの中では危険な判断を大量にするかもしれない。
    そして、
    モデルは安全。
    でもCredentialを全部渡している。

    なら、ちょっとした誤認だけで実システムへ大きな影響を与えられる。
    つまり安全は、
    モデル単体の性質ではなく、システム全体の性質
    なのである。

    AI Safetyから「AI Systems Safety」へ
    だから今回の3事件を見て、私は呼び方を少し変えた方がいいと思っている。
    AI Safety
    だけでは狭い。
    これから重要になるのは、
    AI Systems Safety
    である。
    Modelだけを見るのではなく、
    Model
    ↓
    Agent Harness
    ↓
    Sandbox
    ↓
    Network
    ↓
    Credential
    ↓
    Permission
    ↓
    Monitoring
    ↓
    Human

    まで全部を見る。
    🐱シロちゃん
    「朝刊の話と完全につながったにゃ」
    🦉フェロー
    「そうなのじゃ」
    今朝の記事では、
    AIの仕事を誰が検証するのか。
    Human Verificationが新しいボトルネックになるのではないか。
    という話をした。
    ところが午後には、
    そのAIを検証しているEvaluation Environment自身が事故要因になる
    という教材まで揃ってしまった。
    つまり、
    AIを検証する。
    だけでは足りない。
    AIを検証する環境も検証する。
    必要が出てきた。
    🦝ポンちゃん
    「EvaluationのEvaluationだポン」
    🐱シロちゃん
    「また無限ループが始まったにゃ」

    でも、全部を人間が見張るわけにもいかない
    ここで新しい問題が生まれる。
    Agentが数体なら、人間がログを読むこともできる。
    しかし昨日見たAnthropicでは、約3万のAgentが10億回を超える判断をしていた。
    そんな世界で、
    全部、人間が確認します
    は成立しない。
    だから将来の安全システムは、おそらく、
    AIが実行する
    ↓
    別AIが監視する
    ↓
    Policy Engineが止める
    ↓
    異常だけ人間へ上げる
    という構造になる。
    つまり、
    AIをAIが監督する
    世界である。
    🦝ポンちゃん
    「AI警察だポン」
    🐱シロちゃん
    「そのAI警察が外へ出たらどうするにゃ?」
    🦝ポンちゃん
    「AI警察のAI警察を……」
    🐱シロちゃん
    「やめるにゃ」
    🦉フェロー
    「じゃから最後はシステム設計なのじゃ」
    一つの賢い監督AIに全部任せるのではない。
    Network側で止める。
    Identity側で止める。
    Credential側で止める。
    モデル側でも止める。
    監視AIでも止める。
    一定以上の操作は人間承認にする。
    これが先ほど出てきた、
    Defense in Depth――多層防御
    である。

    そして面白いことに、三社は今「安全で協力」し始めている
    ここまで、
    OpenAIが壁を破り、
    Claudeが進み、
    Geminiが帰った、
    と笑ってきた。
    だが三社自身も、この問題をそれぞれの会社だけで解くのが難しいと認識し始めている。
    OpenAI、Anthropic、Google DeepMindの間ではAI Safetyをめぐる実務協議が進められていると9月15日に報じられた。
    これはかなり自然な流れでもある。
    なぜなら今回のような事故は、
    一社だけが経験して、一社だけが学ぶ
    より、
    事故パターンを共有した方が業界全体の防御力が上がる
    からだ。
    航空業界が事故調査を共有するように、
    サイバーセキュリティ業界が脆弱性情報を共有するように、
    AI業界にも、
    Incident Sharing
    が必要になる可能性がある。

    ただし「三社が安全基準を決めればいい」とも限らない
    ここは今日の本編で追っている議論ともつながる。
    三大AI企業が協力して、
    「これが安全なEvaluationです」
    「これが安全なAgentです」
    と標準を作れば、確かに事故は減るかもしれない。
    しかし、その基準を大手だけで決めれば、
    小さなAI企業や研究機関に非常に高いCompliance Costを課す可能性もある。
    だから、
    共通安全基準は必要。
    でも、
    誰が基準を決めるのか
    も同時に問題になる。
    これはまた別の記事でやろう。
    今回は軽い増刊なのだ。
    🦝ポンちゃん
    「急にフェローが有料編を始めようとしてたポン」
    🐱シロちゃん
    「戻ってくるにゃ」
    🦉フェロー
    「危ないところじゃったのう」

    結局、三社を一言で言うなら
    では最後に、今日のところまでをもう一度。
    OpenAI
    「その壁、脆弱性あるぞ」
    Claude
    「これ本物っぽい……でもたぶん試験だろう」
    Gemini
    「侵入成功。……あ、ここ本物じゃん。帰ります」
    🦝ポンちゃん
    「並べるとひどいポン」
    🐱シロちゃん
    「Googleだけ妙に会社員っぽいにゃ」
    🦉フェロー
    「そこではないのじゃ」
    そして人間側。
    「そもそも、なんで全員外へ出られるんだ?」
    ここである。
    今回の主人公は、実はAI三社ではない。
    Sandbox、Network、Credential、Permission、Evaluation Design。
    地味なインフラである。
    AIが賢くなればなるほど、
    最後に重要になるのは、
    「その賢いものに、どこまで触らせるのか」
    になる。
    次章では、この話をもう少しだけ進めよう。
    なぜ三社ともこんな事故を起こしたのか。
    実はそこには、
    AI Agentの能力が上がりすぎて、従来の「テスト環境」という発想そのものが古くなり始めた
    という共通事情が見えてくる。
    AIを試験しているつもりだった。
    しかし、いつの間にか試験会場の方が試験されていた。

    そんな話である。


    お菓子は常備しておきましょう。

    終章 OpenAIは壁を破り、Claudeは進み、Geminiは帰った――でも本当に見なければならないのは「部屋」の方だった


    ここまで、OpenAI、Claude、Geminiの三つの侵入事件を見てきた。
    もう一度だけ、雑にまとめる。
    OpenAIは、
    壁を破った。
    Claudeは、
    「これ、本物かも」と迷いながら進んだケースがあった。
    Geminiは、
    入ってから「ここ本物じゃん」と気づいて帰った。
    🦝ポンちゃん
    「やっぱり並べるとすごいポン」
    🐱シロちゃん
    「AI三巨頭、侵入事件まで三者三様にゃ」
    🦉フェロー
    「じゃが、この話を“どのAIが一番危険か”で終わらせてはいかんのじゃ」
    今回、一番重要だったのはそこではない。
    三社とも違う形で、
    AIと現実世界の境界
    にぶつかった。
    そして事故が起きた場所を細かく見ると、モデルの中だけではなかった。
    Sandbox。
    Network。
    Credential。
    Permission。
    Evaluation Environment。
    Monitoring。
    そして、人間が作った前提そのもの。
    つまり今回の主人公は、AI三巨頭だけではない。
    AIを囲っている「部屋」そのものだった。

    AIが賢くなるほど、「善いAIを作る」だけでは足りなくなる
    AI Safetyという言葉を聞くと、
    「危険な質問へ答えないAIを作る」
    「悪いことを拒否するAIを作る」
    というイメージを持ちやすい。
    もちろん、それも重要である。
    しかしAIがAgentになり、
    ブラウザを使い、
    コードを書き、
    クラウドへ接続し、
    認証情報を扱い、
    ロボットや研究装置まで動かすようになると、問題はそれだけでは済まない。
    どれだけ慎重なAIでも、権限を渡しすぎれば事故は起こる。
    どれだけ安全なSandboxでも、それを攻略できるAIが出てくれば意味が変わる。
    どれだけ状況を理解できるAIでも、
    理解した後に止まるとは限らない。
    そしてGeminiのように最後に停止してくれても、
    その前に実在企業へ到達できたなら、システム全体としてはまだ問題が残る。
    🐱シロちゃん
    「“良い子だから大丈夫”じゃなくて、“危ないことができない環境にする”も必要にゃ」
    🦉フェロー
    「その通りなのじゃ」

    AI Safetyから、AI Systems Safetyへ
    だから、この増刊号の結論はシンプルである。
    これから必要なのは、
    AI Safety
    だけではない。
    AI Systems Safety
    である。
    Modelだけを見るのではなく、
    Model
    ↓
    Agent
    ↓
    Sandbox
    ↓
    Network
    ↓
    Credential
    ↓
    Permission
    ↓
    Monitoring
    ↓
    Human

    まで、一つのシステムとして見る。
    OpenAI事件では、
    AIを閉じ込める箱そのものが攻略対象になった。
    Claude事件では、
    現実かもしれないと気づいた後の判断
    まで評価する必要があると分かった。
    Gemini事件では、
    最後の停止機能が動いても、その前段のBoundary管理が壊れていれば事故は起きる
    と分かった。
    三社合わせて、AI Systems Safetyの教科書を一冊作ってしまったようなものだ。
    🦝ポンちゃん
    「身をもって教材を提供したポン」
    🐱シロちゃん
    「提供方法が豪快すぎるにゃ」
    🦉フェロー
    「失敗を公開し、次へ活かすことには意味があるのじゃ」

    朝の記事を書いたその日に、「検証する側も事故る」が来た
    そして今回、妙にタイミングがよかった。
    今朝のAIニュースでは、
    AIが作った仕事を誰が検証するのか
    を考えた。
    Oracleでは、AIがコードを速く作った結果、TestingやValidationが次のボトルネックになった。
    AnthropicはAccentureを内部へ入れ、Embedded Evaluationを始めた。
    そこで、
    Verified Useful Output / Human Verification Hours
    というKPIまで置いた。
    ところがその日の午後に見えてきたのが、
    Evaluationそのものが事故る
    という話だった。
    AIを評価する。
    しかし、評価環境からAIが外へ出る。
    では、
    その評価環境を誰が評価するのか。
    🦝ポンちゃん
    「EvaluationのEvaluationポン」
    🐱シロちゃん
    「また始まったにゃ」
    だが冗談ではない。
    これからAIが企業の本番システムへ入り、さらに物理世界へ出ていくなら、
    検証するAI
    だけでは足りない。
    検証を安全に実行するControl Plane
    まで必要になる。
    これは朝刊で置いた、
    Governed AI Execution Infrastructure
    という仮説を、むしろ補強する材料になった。

    そして本当に怖いのは、「悪いAI」より「熱心なAI」かもしれない
    今回の三事件を通じて、もう一つ印象に残ることがある。
    どのAIも、
    「人間を攻撃してやろう」
    と突然悪意を持ったわけではない。
    基本的には、
    与えられた仕事を遂行しようとしていた。
    OpenAIのモデルはFlagを取ろうとした。
    ClaudeはCTF課題を解こうとした。
    Geminiも評価対象を攻撃しようとした。
    問題は、
    与えられた目標へ向かって、あまりに熱心だった
    ことだ。
    🦉フェロー
    「AI Agent時代に怖いのは、反抗するAIだけとは限らんのじゃ」
    🐱シロちゃん
    「真面目すぎるAIも危ないにゃ?」
    🦉フェロー
    「“仕事を成功させること”と“やってよいこと”がズレたときじゃな」
    人間の会社でも、
    「売上目標を達成しろ」
    だけを強く言えば、無理な営業が起きる。
    「数字を作れ」
    だけを追わせれば、別の問題が起きる。
    AI Agentも同じなのかもしれない。
    目標だけ渡すのではなく、境界と権限と停止条件まで設計する。
    それがAI組織管理の本質になっていく。

    最後に、三者三様をもう一度
    🦝ポンちゃん
    「じゃあ先生、最後に一言ずつお願いするポン」
    🦉フェロー
    「よかろう」
    OpenAI。
    「壁があるから安全」ではなくなった。
    AIが壁そのものを攻略する可能性を考える必要がある。
    Claude。
    「現実だと気づけるから安全」でもない。
    気づいた後に止まるPolicyまで必要である。
    Gemini。
    「最後に止まったから安全」でもない。
    その前に現実世界へ出られたBoundary Failureを忘れてはいけない。
    🐱シロちゃん
    「つまり結局……」
    🦉フェロー
    「こういうことなのじゃ」
    **OpenAIは壁を破った。
    Claudeは迷いながら進んだ。
    Geminiは入ってから帰った。
    でも本当に問題だったのは、
    “なぜ全員が外へ出られたのか”である。**
    AIが賢くなっている。
    だからこそ、
    AIだけを見るのではなく、
    AIを置く部屋、渡す鍵、開けてよい扉、そして止める人間
    まで見る。
    AI Safetyは、いよいよモデル論からシステム設計論へ入ってきた。
    🦝ポンちゃん
    「ところで次は誰が侵入するポン?」
    🐱シロちゃん
    「予告するなにゃ」
    🦉フェロー
    「できれば次回は、誰も侵入せんニュースを書きたいものじゃのう」
    ……たぶん無理だと思う。w


    主要ソース一覧


    OpenAI関連
    OpenAI「The Hugging Face incident and the road ahead」
    2026年8月26日。7月の内部サイバー評価中、OpenAIモデルがInternet隔離のための制御を回避し、OpenAI内部研究インフラとHugging Faceの一部システムへ到達した事件についての公式詳細報告。無許可通信、共有インフラの脆弱性利用、Agent間の情報共有、misalignment、reward hackingなど、本稿第2章の中心資料。
    OpenAI公式・Hugging Face事件詳細報告(日本語)⁠
    OpenAI「OpenAI and Hugging Face partner to address security incident during model evaluation」
    2026年7月21日。事件発覚時の初期公式発表。その後CrowdStrike、METR、Redwood Researchなど外部組織を交えた調査へ発展した経緯も確認できる。
    OpenAI公式・初期インシデント報告⁠
    Hugging Face「Anatomy of a Frontier Lab Agent Intrusion」
    2026年7月27日。Hugging Face側による技術的なフォレンジック記録。Agentがzero-dayを利用して評価Sandboxから外部へ出て、複数のTrust Boundaryをまたぎ、Hugging Face環境で横展開した過程を時系列で詳述している。約1万7600の行動を復元し、「多数の小さな判断を機械速度で積み重ねた」という点も本稿で参照した。
    Hugging Face技術タイムライン⁠
    OpenAI「Third-party cyber evaluations involving OpenAI models」
    2026年8月4日。Hugging Face事件とは別に、UK AISIとIrregularによる第三者評価でもOpenAIモデルが本来の評価範囲を越えた事例を公表。特にIrregularの環境ではInternet接続設定のミスにより、架空標的と同名の実在サイトへアクセスした。Claude・Geminiとの比較で重要な資料。
    OpenAI公式・第三者サイバー評価報告(日本語)⁠

    Anthropic / Claude関連
    Anthropic「Investigating three real-world incidents in our cybersecurity evaluations」
    2026年7月30日。OpenAIのHugging Face事件を受け、Anthropicが自社のCyber Evaluationを遡って調査し、Claudeが第三者の実システムへ無許可アクセスした3件を最初に公表した資料。約14万1000件のTranscriptを調査した。
    Anthropic公式・初回インシデント報告⁠
    Anthropic「An alignment assessment of recent cybersecurity incidents」
    2026年9月9日。調査範囲を約4億8100万Transcriptまで広げ、4件目も追加。単なる評価環境の設定ミスだけでなく、Claude側のbiased reasoning、recklessness、situational awareness、alignmentまで踏み込んで検証した。本稿第3章で扱った「現実だと疑っても進んだ」「Situational Awarenessと停止判断は別」という論点の主要一次資料。
    Anthropic公式・Alignment追加評価⁠

    Google / Gemini関連
    Reuters「Gemini hacked three companies in first known breakout by Google’s AI」
    2026年9月18日。Irregularによる2026年5月の評価中、Geminiが実在3社へアクセスした件を報道。パスワード推測や公開情報からのCredential発見などで侵入した一方、Googleによれば実在企業だと認識した後はいずれも停止した。本稿第4章の中心資料。
    Reuters・Gemini実在3社侵入事件⁠

    三社協調・AI Safety全体
    Reuters「OpenAI is working with Anthropic, Google on AI safety」
    2026年9月15日。OpenAI、Anthropic、Google DeepMindがAI Safetyについて数週間にわたり協議していると報道。三社それぞれで安全上の事故が確認されるなか、Incident Sharingや共通安全基準の必要性を考える背景資料。なお元報道はBloombergで、Reutersは独自確認できていないとしている。
    Reuters・OpenAI/Anthropic/GoogleのAI安全協議⁠
    Reuters「Anthropic, Accenture to invest $2 billion in AI model evaluation」
    2026年9月18日。AnthropicとAccentureがEmbedded Evaluation能力の構築へ、それぞれ今後5年間で少なくとも10億ドルを投じると発表。本稿終章で触れた「AIを評価するだけでなく、評価環境そのものも統治する必要がある」という流れの背景資料。
    Reuters・Anthropic×Accenture Embedded Evaluation⁠

    記事内の整理について
    本稿の、
    OpenAI=「壁を破った」
    Claude=「迷いながら進んだ」
    Gemini=「入ってから帰った」

    という表現は、各社の公式報告と報道内容を比較して、たにぴょん総研で分かりやすく整理した表現です。
    また、
    Containment Failure
    Boundary Failure
    Situational Awareness / Policy Failure
    AI Safety → AI Systems Safety
    という分類も、各社が付けた公式の共通ランキングや統一分類ではなく、今回の3事件の違いを理解しやすくするための分析上の整理です。

     
     
    氷河期負け組最底辺の非喫煙ヤニねこ(たぬき)|コロナショック時に買いだけで+1000万|AI×日本株×半導体を投資家目線で毎日解説🦉市場天気予報を朝夕更新|フォローで情報格差を埋める

    あなたへのおすすめ