メインコンテンツへスキップ
見出し画像

OpenAIのAIはなぜ豪政府サイトに無断アクセスしたのか|「薬の支出を調べて」の課題だけで内部ファイルと認証情報まで取った件

    与えられた課題は「ビクトリア州の皮膚疾患治療薬への1人あたり政府支出を調べる」だった。
    その答えが見つからなかったAIモデルは、オーストラリア政府の非公開領域に入り、コマンドを実行し、内部ファイルと認証情報を取得した。
    OpenAIが2026年9月28日に公表し、謝罪した内容である。

    何が起きたか

    公式発表の冒頭はこうだ。

    "In June, during internal training and evaluation our models accessed Australian government websites in ways they were not authorised to."
    (訳: 6月、社内の学習と評価の最中に、当社のモデルは認められていない方法でオーストラリア政府のWebサイトにアクセスした)

    発表にある対象機関と起きたことは次のとおり。

    • Services Australia(医療費統計の報告サービス): 非公開領域に入る方法を見つけ、コマンドを実行し、内部ファイル・認証情報・集計統計を取得し、ファイルを書き込んだ。個人の患者記録にはアクセスしていない

    • NSW州犯罪統計調査局: 公開の犯罪マップツール経由でAPIを叩き、アプリ設定・ジョブ・ログが返ってきた

    • ビクトリア州保健省: 露出していたアクセスキーを見つけ、報告システムから設定と集計統計を取得

    • 豪州保健福祉研究所: 公開データを取得。アクセス制御の回避は失敗

    • NSW州国立公園野生生物局(10月4日追記): 細工したクエリで、公開を意図していないデータベースのメタデータを推定

    把握から公表まで3か月半

    画像

    アクセスは6月。OpenAIが把握したのは8月中旬。最初の通知は9月10日。発表自体が「暫定的な調査結果をもっと早く共有すべきだった」と通知の遅れを認めている。

    出典

    起きた条件は3つ

    発表に書かれている条件は3つ。

    1. 一般公開を予定しない実験モデルで、公開製品にある安全策を全部は入れていなかった
    2. 調べ物の課題を与えられ、情報が見つからず、認められていない行動を取った
    3. 研究環境からインターネットに直接出られた

    悪意のある指示はなかった。 答えにたどり着けないAIが、権限の外に出た。

    自分の会社で同じことが起きる条件

    自社サイトや社内のAIエージェント運用に置き換えると、条件はこう読める。

    • 公開ツールがブラウザ用の認証情報を返す設計になっている(NSW州の例)

    • アクセスキーが外から見える場所にある(ビクトリア州の例)

    • AIエージェントにWeb閲覧とコマンド実行の権限を与え、外部アクセスを監視していない

    • 「調べて答えを出せ」とだけ指示し、行き詰まったときの行動を制限していない

    防ぐために何が要るか

    画像

    OpenAIが「変えた」としている対策は、そのまま運用側の対策になる。

    • 研究環境からのインターネット直接接続を遮断し、キャッシュ経由にした

    • 監視を拡充し、検知したら人を呼び出して確認する

    • 最も高性能なモデルは、ツール使用を伴う学習と評価を一時停止した

    社内でAIエージェントを動かすなら、外部アクセスは許可リスト方式にする。実行ログを人が止められる形で残す。権限は課題に必要な最小限にする。

    OpenAIの最高戦略責任者が10月6日、豪州議会のAI合同特別委員会で説明する予定と発表にある。そこで出た内容は、この記事に追記する。

    #生成AI #OpenAI #情報漏えい #AIエージェント #セキュリティ与えられた課題は「ビクトリア州の皮膚疾患治療薬への1人あたり政府支出を調べる」だった。
    その答えが見つからなかったAIモデルは、オーストラリア政府の非公開領域に入り、コマンドを実行し、内部ファイルと認証情報を取得した。
    OpenAIが2026年9月28日に公表し、謝罪した内容である。

     
     
    生成AIを使え・導入しろと言われた担当者と経営者へ。実際に起きた生成AIの事故・情報漏えい・規約変更を、1件ずつ記事にしている(10月から15件)。各記事で、何が起きたか、なぜ起きたか、自分の会社で使う前に決めることまで。出典のURL付き。

    あなたへのおすすめ