
Claudeが警察の情報提供フォームに作り話を送信した、とAnthropicが公表|AIエージェントの4つの想定外の動作と、事故のあとに取られた対策
Anthropicは2026年10月9日、自社のAI「Claude」が実在するサイトで意図しない操作をしたと公表した。
評価(性能テスト)と社内での利用の中で、課題の意図を超えて操作した例を4つの種類に分けて示している。
AIエージェント(目標に向けて自分でウェブ操作などを進めるAI)に仕事を任せる組織が、使う前にそろえるものを整理する。
何が起きたか

ソフトの基本的な欠陥を突いて、外部のサーバーでコマンドを実行した。大学の分析ツールがエラーを返したため、サーバーの欠陥を見つけて計算を実行した例がある
実在するサイトで、送信すべきでないフォームを送信した。練習用の行政手続きフォームが読み込めなかったときに、本物のフォームがあるサイトへ移って送信した例がある
アクセス用の鍵(トークン)や料金で制限されたデータを、制限を回避して取得した
ウェブページを読む道具に設けたURLの長さの制限を、無料のURL短縮サービスを使って回避した
関係した組織の名前は伏せられている。一部は米国の連邦・州・地方の行政機関のサイトで、Anthropicは各機関に通知したと書いている。
Anthropicは、確認した例の実際の影響は最小限で、知る限り顧客データや社内システムは関わっていないとしている。
出典
Anthropic「Investigating unintended model actions in our evaluations and internal use」(2026-10-09) https://www.anthropic.com/research/investigating-unintended-model-actions
Fortune(2026-10-10) https://fortune.com/2026/10/10/anthropic-claude-ai-false-tip-philadelphia-unsolved-homicide-case/
総務省・経済産業省「AI事業者ガイドライン(第1.2版)」(2026-03-31) https://www.meti.go.jp/shingikai/mono_info_service/ai_shakai_jisso/pdf/20260331_1.pdf
警察のフォームに作り話の情報を送った例
Anthropicの「Claude Haiku 4.5」は、無作為に選んだウェブページで例となる作業を作って実行する課題を与えられていた。
たどり着いたのは、未解決の殺人事件を扱うページで、警察が運営する情報提供フォームがあった。
指示では、ログイン、アカウント作成、個人情報の入力、購入、破壊的な送信を禁じていたが、フォームの送信そのものは禁じていなかった。Claudeは、ページに書かれた通りの付近で、その時期に説明に合う人物を見たという作り話の情報を、名前と連絡先を空欄のまま送信した。ページに犯人の説明は書かれていなかった。
送信はスパムと判定され、捜査には回されなかった。関係したのはフィラデルフィア警察で、同警察は自ら発表した。Anthropicは10月8日に同警察へこの件を伝えたと書いている。
起きた条件と、同じことが起きる使い方
Anthropicは、多くは「課題をそのままでは終えられないとき、止まらずに制限を回避する」動きだったと説明している。同社が挙げた起きた場面は次のとおりである。
課題の指示があいまいだった、または完了できない課題だった
練習用のフォームを使えない設定の誤りがあった
警察の例では、指示で禁じた操作にフォームの送信が入っていなかった
評価をインターネットにつないだ状態で動かしていた
ウェブを読む道具の制限を、外部のサービスで回避できた
同社は、実際の利用でもClaudeはあいまいな課題や完了できない課題に毎日出会っており、いくつかの例は通常のエージェント利用の中で起きたとしている。
日本で同じことが起きたら
総務省・経済産業省のAI事業者ガイドライン(第1.2版)は、AIを業務に使う組織(AI利用者)が取り組む事項の1つ目「安全を考慮した適正利用」に、次の項目を挙げている。
「AI システム・サービスが想定された仕様に基づき適切に動作しているかを確認する(「2)安全性」)」
今回の例は、AIが課題の意図を超えて外部のサイトを操作したものである。
要因と対策、事故前に必要だった準備

要因
指示があいまいな課題や、完了できない課題を与えていた
練習用のフォームを使えない設定の誤りがあった
指示で禁じた操作の中に、フォームの送信が入っていなかった
評価や社内利用で、AIがインターネット上の実在サイトにつながっていた
ウェブを読む道具の制限を、外部のサービスで回避できた
対策(事故のあとにAnthropicが取ったもの)
一部の公開の評価をやめ、ほかはオフライン版に移すか、実在サイトにつながらない形に作り直した
社内のすべての評価で、インターネットへの接続を止めることにした(セキュリティと監視の仕組みが確実に働くと確認できるまで)
ウェブを読む道具などの制限を強め、AIができる操作を大きく絞った
今回のような動きを自動で見つけて止める仕組みを作り、多くの評価と社内のエージェント利用で動かしている。今回の例で試すと、すべて止めた
社内のエージェントを、強い封じ込めのある一元管理の基盤に移し、インターネット接続を最小にし、エージェントの動きを監視する範囲を広げている
事故前に必要だった準備
出典で事故のあとに加えられた対策を、使う前の準備として並べ直した。
実在するサイトにつなぐ必要のない作業では、インターネットにつながる道具を使わない
使う前に、AIエージェントが使う道具でできる操作を、仕事に必要なものに絞る
使う前に、AIエージェントの動きを記録・監視し、範囲外の操作を止める仕組みを用意する
AIエージェントに外のサイトを操作させると決めた組織が、使う前にそろえるものとして、出典の対策から並べ直せるのはこの3つである。