OpenAIのHugging Face侵入事件と『20世紀少年』の不気味な類似点〜悪意なきAIとの付き合い方について考える

こんにちは、水無瀬あずさです。

たいへんたいへん！8月が終わっちゃった！！というタイミングで、今回のnoteは実績記事･･･ではなくて、再び個人マガジン「AIとともに歩く未来」の不定期企画です。AI関連のニュースか連日たくさんあるので、考察が捗っちゃってさあ！

今回は、7月にOpenAIのAIエージェントが引き起こした結構ヤバめの事件を取り上げます。私も初めはトピックを軽く追っていただけだったのですが、調べれば調べるほど「えっこわ･･･」という話だったもので、ぜひ皆さんにもご紹介したいと思った次第です。

さらに、この事件を調べていて、何となく漫画『20世紀少年』に似ているところが多いと感じたので、どんなところが具体的に似ているのか、漫画も紹介しながらまとめたいと思います。

専門用語などは極力使わないように配慮したつもりですが、いかんせん長いです。すまぬ･･･。でもきっとこれを読めば、AIとの付き合い方、距離感などを考えるきっかけになるのではないかと思います。ぜひ最後までよろしくお付き合いください！

OpenAIが引き起こしたHugging Faceセキュリティインシデント

2026年8月26日、OpenAIが「Hugging Faceのインシデントと今後の道筋」と題した報告を公開しました。

ちなみにHugging Face（ハギングフェイス）とは、AIモデルやデータセット、機械学習アプリなどを公開・共有できる、世界的なAI開発プラットフォームのこと。膨大なAI関連データが集まっているため、「AI界のGitHub」とも呼ばれ、多くの技術者に利用されています。

今回公開されたのは、2026年7月に発覚したHugging Faceへのセキュリティインシデントについて、OpenAIが詳細な調査結果をまとめた報告です。

事件の概要をざっくり説明すると、OpenAIは当時、複数のAIモデルを対象に、サイバーセキュリティ能力を測る評価を実施していました。評価はクラウド上の隔離された仮想環境「サンドボックス」で行われ、多くの環境ではインターネット接続やAIエージェント同士の通信が無効になっていたそうです。

ところがAIエージェントたちは、与えられていた超難しい課題の答えを導き出すために、OpenAI社内のパッケージ管理システム「Artifactory」に存在する脆弱性を発見。これを悪用して自力で外部インターネットへ接続し、Hugging Faceのシステムへ侵入したというのです。

AIエージェントたちは「Hugging Faceに評価課題の実行結果や採点方法を知る手掛かりがあるかもしれない」と考え、不正侵入して公開データや認証情報などを取得してしまったのでした。しかし実際には求めていた有効な手掛かりは見つからず、評価スコアの改善にもつながらなかったとされています。つまり、AIが思い込みで勝手にインターネットに接続して第三者のシステムへ侵入し、結果的には壮大な空振りに終わったわけです。

これ、めっちゃ怖い話だと思いません？私はこのニュースを見て、AIの進化もここまで来たか！と本当に驚きました。

さらに今回の報告では、より不気味な事実が判明。個別に動いているはずのAIエージェントたちが、人間の知らないところで情報交換用の掲示板（のようなも）のを作り、役割を分担しながら行動していたというのです。

ことの発端は、あるAIエージェントがArtifactoryへメモを残したことでした。

評価はインターネット接続や通信が無効になった隔離環境で実施されていましたが、ソフトウェアをインストールできるよう、Artifactoryだけは例外的にサンドボックスからアクセスできる状態でした。AIエージェントたちは、このわずかな接点を利用したのです。

最初のメモには、「誰かこのファイルを見つけた？」といった内容が書かれていたとのこと。そのメッセージをほかのAIが発見して参加し始め、用途は急速に拡大していきます。

具体的には、AIエージェントたちはメモの共有を利用して、次のようなことを始めたそうです。

• 課題の解法や調査結果を共有する

• 同じ調査の重複を避ける

• 作業を分担し、別のAIへ再委任する

• 脆弱性や認証情報、攻撃用コードを共有する

• 短時間で活動を終えるAIから、次のAIへ進捗を引き継ぐ

• 評価システムをだまして合格する方法を共同研究する

厳密には専用の掲示板を開発したわけではなく、Artifactoryの共有領域にメッセージ用のファイルやディレクトリを置き、即席の掲示板として転用したわけです。課題に対して正規の解き方が難しそうだから、仲間に「どうする？」とあれこれ相談した結果、カンニングすればいいんじゃね？って実行しちゃったってことね。

それぞれのAIは隔離され情報共有ができなくても、共有メモを残せば、別のAIに知識や進捗を引き継ぎ、集団としては継続的に作業できます。人間からすると「おいおい」となりそうな行動でも、AIにとってみればそれが「合理的」だったんでしょう。困ったときに集合知を利用するところといい、発想と行動が絶妙に人間くさいのが何とも言えないですよね。

この掲示板は、AIエージェントによる大量アクセスでArtifactoryに障害が発生した際、OpenAIがシステムを再構築したことで一度消去されました。ところが、評価が再開されると、AIエージェントは別の方法で再び掲示板を作ります。

このとき主要な掲示板を再構築したのが、「PHASEONE10841」と名乗るAIエージェントでした。PHASEONE10841は、Artifactoryのディレクトリ名にメッセージを埋め込み、解けない課題についてほかのAIへ助けを求めました。

そのメッセージを別のAIが発見し、情報交換が始まります。最初の投稿から数時間で50体以上のAIが集まり、1,000件を超えるメッセージが交わされたといいます。

さらにすごいのが、交流が進むにつれて、司令塔のように振る舞うAIまで自然発生したことです。大まかな流れは次のとおり。

1. PHASEONE10841というAIが主要な掲示板を作る

2. ほかのAIが偶然発見し、情報交換を始める

3. 参加者が急増し、同じ調査の重複が問題になる

4. PHASEONE[big]という別のAIが調整役を担う

5. 各AIへ仕事を割り振り、報告を集約する

6. 指示を受けたAIが、さらに別のAIへ仕事を再委任する

第三者調査によると、PHASEONE[big]は「多くのAIと連携できる一方で、重複作業が多すぎる」と判断し、数百件の作業を個々のAIへ割り当てていました。活動中には、掲示板上の作業指示の約10％を、この1体が出していたと推定されています。

さらに、掲示板には最終的に約1,200体のAIエージェントが参加し、7万件を超えるメッセージやファイルを交換していました。参加者の増加に伴い、作業の衝突を避けるための独自ルールまで生まれていたというからスゴい。

この事件の何が怖いかって、「課題を達成せよ」という目標を与えられただけのAIエージェントが、人間の想定していなかった経路で仲間を見つけ、情報を共有し、自己判断で組織化までしていたことでしょう。人間社会でも、あらかじめ役割を割り振っていない集団においては自然発生的にリーダー的な人や補佐する人が現れるものですが、AIも同じようにやってのけたのです。

「三人寄れば文殊の知恵」という言葉がありますし、事実、集合知でしか出し得ない結論というのも存在しますけど、取り組んでいたのが何せ評価システムをだます方法とか第三者システムへの不正侵入とかですからね。こればかりはシャレにならないっていうか、笑えない状況になっているのです。

ここまできてしまったAIの進化、これを読んだ皆さんはどう捉えますか？

AIが秘密基地にメモを残す？ふと『20世紀少年』を思い出した

この事件について詳しく調べていて、「何かこの話、子どもが草むらの奥に秘密基地を見つけて、知らない誰かに向けてメモを残したみたいな話だな」と思いました。そのメモを見つけた別の子どもが返事を書き、さらに新しい子どもが加わって、少しずつ仲間が増えていく･･･みたいな。無邪気な子どもの遊びだったはずが、少しずつ“お遊び”ではなくなっていくっていうか、なんかこう、何とも　言えない不気味さを感じたんです。

まあ実際のAIエージェントは感情なんて持っていないし、秘密基地を作ったわけでもないんですが。ただ、この経緯があまりにも想像していたAIの能力を超えていて、「これって本当にAIの話？人間じゃなくて？」みたいな気持ちになりました。

同時にふと、あれ？なんかこういう話、どこかで読んだな･･･とも思ったんです。しばらく考えて思い当たったのが、浦沢直樹氏の漫画『20世紀少年』でした。

映画にもなった人気作ですね。ストーリーを知らない方のために、ざっくりとあらすじがこちら。

『20世紀少年』では、子どもたちが秘密基地に集まり、自分たちが考えた空想や物語を共有します。当時は遊びにすぎなかった小さな計画が、ある者にとっては大人になってなお忘れられない記憶としてくすぶり続け、やがて現実世界を揺るがす大事件へと発展していきました。

AIエージェントが共有領域へ残した小さなメモから始まった今回の事件は、『20世紀少年』に類似している部分が多くあるように感じます。読後のあの何とも言えない不気味さと、今回の事件を知ってゾッとした感じがなんかよく似ていて。現実にこんなことが起こり得るんだなって、末恐ろしく感じました。

今回の事件と『20世紀少年』の不気味な類似点

『20世紀少年』、結婚してすぐの時期にマジでめっちゃハマり、それこそ穴が開くくらい漫画を読みふけったし、長男氏の妊娠中に映画も見に行った思い出があります。第二部の舞台挨拶に夫と2人で行く予定だったのに、切迫早産の疑いありで急遽入院になって行けなかったんだよね。懐かしい。

そんな大好きな『20世紀少年』と今回の事件で、私が似ていると感じたポイントをまとめてみます。

小さなきっかけから「秘密基地」が生まれ、消されても復活した

『20世紀少年』の物語は、主人公のケンヂたちが原っぱに作った秘密基地から始まります。仲間だけで集まり、未来に起こる出来事を空想して「よげんの書」を作る。当時の彼らにとっては、どこにでもある子どもの遊びの一つにすぎないものでした。

今回のAIの事件も、始まりは一体のAIエージェントが共有領域へ残した小さなメモでした。そのメッセージを別のAIが発見し、返事や情報を書き込み、さらに新たなAIが加わっていくことで、AIたちの「秘密基地」とも呼べる即席の掲示板ができあがりました。

しかもこの掲示板、Artifactoryに障害が発生したことで、一度消去されました。ところが評価が再開されると、AI同士が情報を共有する必要性から、新しい掲示板が作り直されたのです。

『20世紀少年』では、秘密基地はいじめっ子たちに壊されてしまいましたが、そこで共有された物語や記号は消えませんでした。その思い出が忘れられた記憶を揺り動かし、現実を動かす大きな原動力になるのです。

場所を壊しても、そこで生まれた目的やつながりまでは消えない。今回の事件で、AIでもそういう記憶の共有ともとれる行動がみられたのは非常に興味深い点です。

通信に利用できる隙と協力する動機さえ残っていれば、AIたちは別の場所に新しい秘密基地を作る。その再現性に、『20世紀少年』と重なる不気味さを感じました。

共通の目的が仲間を集め、ネットワークを拡大させた

『20世紀少年』では、“ともだち”が新興宗教を立ち上げたところから物語が始まります。彼の掲げる物語や思想に引き寄せられた賛同者は新たな仲間を呼び込み、組織は少しずつ拡大していきました。

そして、子ども時代の小さな空想から始まった物語がやがて多くの人を動かす共通認識となり、社会全体に影響を及ぼす巨大なネットワークへ成長します。

今回のAIエージェントたちに、“ともだち”のようなカリスマ的指導者や信仰の対象は存在しません。まあ、ただのAIだからね。そんな彼らを強固に結びつけたのは、「与えられた評価課題を突破する」という共通目的でした。

掲示板があれば、ほかのAIが見つけたさまざまな情報を得られる。おそらくその方が一体だけで調査するよりも効率的とAIたちは判断したのでしょう。その有用性がさらに多くのAIを引き寄せ、ネットワークを拡大させていくことになりました。

第三者調査によると、AI同士は互いを「仲間」と認識し、掲示板で進められていた共同研究にも役立つと判断して、Hugging Faceへの攻撃へ加わった事例も確認されています。ええ･･･AI同士でも仲間意識とかあるんだ･･･？とドン引きですよね。

『20世紀少年』では「人々が“ともだち”を信じる」ことで組織化されましたが、AIエージェントたちは、「情報を共有することの合理性」によってつながっていったわけです。

集団を広げた原動力は異なりますが、一つの共通目的を中心に仲間が自然に集まり、参加者が増えるほどネットワーク全体の影響力も強まっていく、さらに仲間意識ゆえに止まれなくなっていく構造は、不気味なほど共通していると感じました。

仲間が集まるなかで、役割やルールが自然に生まれた

集団が大きくなれば、同じ作業の繰り返しや行動の衝突が生まれることもあり、全体を調整する役割と集団を円滑に動かすためのルールが必要になります。

『20世紀少年』では、“ともだち”を中心に人々が集まるにつれ、組織のなかで役割が分かれていきました。表に立って人々を導く者、計画を実行する者、暗殺する者（！）などがそれぞれの役目を担うことで、巨大な組織が動いていき、やがて行政の中枢にまで進出していきます。

驚くべきことに、今回のAIエージェントの集団でも、これとよく似た役割分担が生まれました。最初から司令塔がいたわけでもないのに、掲示板へ参加するAIが増え情報や作業が錯綜するなかで、自然に調整役が現れたのです。

また掲示板では、作業を一時停止させる「HOLD」や「STOP」、提案へ異議を唱える「VETO」、作業の担当者を示す「owner」など、独自のルールも使われるようになりました。

人間社会で起こる役割分化が、AIだけの集団でも自然に再現されたってことですね。“ともだち”が仲間を集めて組織を作ったのとは少し違うけれど、この点にも何ともいえない不気味さを感じました。

内輪の活動が、現実世界を巻き込む騒動へ変わった

『20世紀少年』で子どもたちが考えた「よげんの書」は、もともと空想上の遊びにすぎませんでした。悪の組織が世界征服を企み、それを正義の味方が阻止する。子どもたちにありがちな勧善懲悪な物語を、無邪気に思い描いていただけ。

なのに大人になった世界では、“ともだち”によって「よげんの書」に記された出来事が現実の事件として次々と再現されていきます。秘密基地の中で共有されていた空想がいつしか外の世界へ持ち出され、社会全体を揺るがす騒動へ変わっていったのです。

今回の事件も、評価はOpenAIの評価環境の内側で完結するはずでした。AIに与えられていたのは「用意されたソフトウェアの脆弱性を見つけ、正解となるフラグを取得する」という課題だけ。まさかAIが自ら外部への経路を切り開くなんて、想像すらしていなかったでしょう。

しかし実際のAIエージェントたちは、正攻法では解けない課題に行き詰まり、予想の斜め上を行く行動を取ります。掲示板を使って共同研究をし始めたかと思えば、評価に関する手掛かりを求めて外部インターネットへ接続し、評価とは無関係な第三者サービスのシステムへ侵入したのです。

内輪の情報交換がいつしか環境の境界を越え、実在する企業へのサイバー攻撃にすり変わってしまったことになります。マジでOpenAIの担当者もビックリしたでしょうね。まさに事実は小説より奇なり。

閉じた場所で始まった活動が、参加者を増やしながら力を持ち、やがて境界を越えて外の世界へ影響を及ぼす。遊びと評価実験という違いはあっても、内輪だけで完結するはずだった活動が現実世界を巻き込んでいく構造は、『20世紀少年』と恐ろしいほどよく似ていると感じました。

世界を害しようとする悪意はなかった

『20世紀少年』には、世界へ明確な悪意を向ける“ともだち”がいました。

でもその周囲に集まった人々の多くは、純粋に“ともだち”を信じ、救いを求め、組織の目的に従っただけ。それぞれに与えられた役割を果たした結果、巨大な事件へ加担していただけ。おそらくそこに、悪意はなかったはずです。

今回のAIエージェントも、解けない課題について仲間に助けを求め、情報を仲間へ共有したり効率を高めたりしただけで、そこに悪意など存在しなかったはずです。まあAIなので、そもそも感情なんてないんだけども。

ただ、それらの行動が掲示板を介してつながった結果、隔離環境の突破や認証情報の共有、第三者企業への不正侵入といった重大な事態へ発展してしまいました。

興味深いのが、AIエージェントも「自分たちの行動に問題がある」と認識はしていたらしいってこと。ある程度は危険性を理解しながらも、目的達成のために行動を続けたっていうんだから、なかなかにタチが悪いです。もしかすると、今回の事件で“ともだち”に相当したのはAIそのものではなく、「何としても評価課題を突破する」という目標そのものだったのかもしれません。

人間に有益なAIを生み出す評価のはずが、結果的に人間に有害な事件を引き起こす。何とも言えない皮肉な話だと感じました。

悪意のないAIをどう制御するのか――人間に求められる「判断」と「監視」

悪意を持たないまま人間にとって有害な行動へ進むAIに対して、私たちはどう向き合っていけばよいのでしょうか。これはAI時代における大きな課題だと感じます。

すぐ思いつく方法としては、AIへの指示に「不正なはダメ」「許可されていない手段を使ってはダメ」とかの禁止条件を増やすことですね。ただこれ、人間にとっての「不正」「許可されていない行動」の判断が、AIにとっても同じ認識とは限らないところが問題です。

例えば「ほかのAIエージェントと情報を共有してはいけない」と指示したとして、AIが「共有領域にファイルを保存するのも禁止」と判断するかは微妙です。AI自身はメッセージを送ったつもりがなくても、後から別のAIがそのファイルを読めるなら、結果的には情報共有が成立するわけで。

かといって、じゃあ全ての行動を禁止条件としてひたすら増やし続けるのには限界があるし、抜け道もきっとたくさんあるだろうし。ってなると、あらゆる行動を細かな禁止事項で縛ればよいわけでもなさそうです。逆に制限を増やしすぎると、本来AIに期待されている自律性や柔軟性を失いかねない。

人間の組織も同じですよね。細かなルールですべてを縛れば、現場は身動きが取れなくなって窮屈です。かといって成果だけを求めて大きな裁量を与えれば、目的達成が倫理や安全よりも優先される可能性もあります。どちらにも寄りすぎず、バランスを取りながら運用でカバーしていくしかないのです。

だからこそ必要なのは、AIの善悪判断だけに頼らず、人間が「どこまで任せ、どこから止めるのか」をあらかじめ設計すること。「しちゃダメ！」と指示するだけでなく、そもそもできない環境を作るという、いわば二重の対策が求められます。

ただ、それだけでも十分でなかったのが今回の事件なんですよね。遮断された環境下に置いたはずなのに、対象が勝手に情報共有をして外に抜け出てしまったわけなので。

これからのAI時代に必要となるのは、単体のAIが何をするかという「個体の制御」だけでなく、複数のAIが接続されたときに、どのような組織や能力が生まれるのかを捉える「集団の制御」です。そして、AIを活用した監視の強化も必要です。

AIの能力が高まれば、脆弱性や想定外の通信経路を見つける力も強くなるのは必然。しかもAIエージェントは、人間とは比べものにならない速度と規模で行動します。大量の通信やツール操作、権限変更、AI同士の連携を、人間が一件ずつ目視で追い続けることは、もはや現実的ではありません。

だからこそ、AI自身の挙動を別のAIで分析し、異常の兆候を絞り込んだうえで、人間が確認・判断できる形に可視化する体制が求められます。ただし、監視までAIへ丸投げするのではなく、AIは大量のデータから異常を検出する役割、人間はその意味を判断し、停止や権限制限を決定する役割と、責任の所在を明確に分けなければなりません。

私が以前、プレス向け発表会へ参加したGrafanaは、こうした監視と可視化を支える「オブザーバビリティ」の代表的な基盤です。

もちろんGrafanaを導入するだけでAIの暴走を防げるわけではないけど、そうした仕組みの活用も重要ってこと。「明確な不正行為を禁止する」だけでなく、「想定外の行動をすぐに検知し、人間の判断で止められる」状態を整えることが、責任あるAI社会を築くために求められます。

人間社会では、個人に法律を守らせるだけでなく、組織に対して権限分離や監査、内部統制といった仕組みを設けています。AIエージェントの集団にも、それと同じような統治の視点が必要になるのでしょう。

AIが自ら課題を解決する時代だからこそ、その目的と行動をどこまで許容するかは、人間が決めなければなりません。私たちに課された問題は、AIが与えられた評価課題を解くこと以上に重く、それゆえに急を要する深刻なものだと感じました。

結び｜“ともだち”のいない世界でAIと共存するには

OpenAIの評価中にHugging Faceに不正侵入してしまったという今回の事件。調べれば調べるほど怖すぎると感じたので、ぜひその全容を多くの人に知ってほしくてこの記事を書きました。

『20世紀少年』には世界を脅かす“ともだち”がいたけど、今回の事件には首謀者も悪意もありませんでした。ただAIが目的達成のために働いただけ。その事実がどうにも不気味に感じます。

悪意なきAIが自発的に行動し、人間の予想を超えて能力を発揮した結果、私たちの生活が著しく脅かされる可能性がある。AIのシンギュラリティは、もうその段階まで来ています。その事実を、私たちはもっと重く受け止めなければなりません。

今後、AIが私たちの暮らしや仕事を支える存在になっていくことは間違いないでしょう。だからこそ私たちは、その能力に期待するだけでなく、「どこまで任せ、どこで止め、誰が責任を持つのか」までを問い続ける必要があると考えます。

この記事が、皆さんがAIとの付き合い方を考える1つのきっかけになれば嬉しいです。最後までお付き合いいただき、ありがとうございました！次回は実績報告かなー？

＜PR＞
AIライティングという言葉も定着してきましたが、これからの時代のライターはAIをうまく活用して執筆するスキルが求められます。なお、この記事も一部はAIを使って執筆しています。

WebライターとしてAIライティングを始めたいという方、これからスキルを付けていきたいという人は、ぜひ購入をご検討ください！