メインコンテンツへスキップ
見出し画像

生成AI・AIエージェントの事故と弱点の事例11件、会社は使う前に何を確かめるか

    2026年10月19日から11月10日までに公表された、生成AIやAIエージェントが関わる事故・情報漏えいと、AIツールの弱点を11件まとめた。

    画像

    社員が禁止の生成AIに個人情報をアップロードした

    パナソニック オペレーショナルエクセレンス(10月23日公表)

    何が:人事情報システム導入プロジェクトのメンバーが、社内で利用を禁止している外部の生成AIサービスに、従業員・元従業員・家族の個人情報約33万人分をアップロードした。

    なぜ:同社は、外部からの不正な操作ではなく、メンバーのルール違反によるアップロードだとしている。

    Anthropicは11月5日、Claude Enterpriseに、会社の管理するPCのClaude Desktopで個人や外部のClaudeアカウントを使えなくする設定を加えた。

    AIの機能が有効のまま広告が配信された

    ピザーラ(11月6日公表)

    何が:公式TikTokアカウントで、アニメ「Dr.STONE」の製作委員会の監修・許諾を経ていない動画が広告として配信された。

    なぜ:TikTok広告の、AIで広告を自動で作って配信する機能が「有効」のまま、担当者が設定を完了した。

    AIのツールそのものが攻撃の入口になった

    AIコーディング支援5製品の組み込みブラウザ(Forever Security、10月29日公表)

    何が:Cursor・GitHub Copilot・OpenAI Codex・VS Code・Claude Desktopの組み込みブラウザ(ツールの中で動くブラウザ)に弱点が見つかった。

    Codex・VS Code・Claude Desktopでは、組み込みブラウザで開いた1つのファイルから、PCのファイルをすべて読み取って外へ送れた。

    公表時点で、CodexとVS Codeは未修正だった。

    なぜ:組み込みブラウザは、普通のブラウザが守る制限の一部を外したまま、普通のブラウザと同じように信頼されていた(Forever Securityの見方)。

    改ざんされたClaude Code拡張(Cursor、10月29日)

    何が:Cursorの拡張機能マーケットプレイスで、Claude Code拡張を改ざんした版が約11時間配布された。

    この版は、PCの情報を攻撃者に送り、攻撃者のSSH鍵(PCに外から入るための鍵)を加えようとした。

    なぜ:改ざんされた版がマーケットプレイスに載った経緯は、通知に書かれていない。

    生成AIのAPIキーが盗まれて使われた

    APIキーは、プログラムから生成AIのサービスを使うための鍵である。

    LLMJacking(Google Mandiant・GTIG、11月3日公表)

    何が:会社が契約する生成AIの利用権限を攻撃者が乗っ取り、不正な利用料が1日で10万ドルを超えた事案があった。

    なぜ:漏れたクラウドの認証情報や、GitHubの公開リポジトリに置かれたAPIキーが使われた。

    Northflank(10月30日から公表)

    何が:アプリの実行環境を貸すNorthflankが侵害され、顧客が預けた生成AIのAPIキーが無断で使われたという報告が出た。

    なぜ:同社は、攻撃は管理システムに保管していた秘密情報を狙ったものとみている。侵入の経路は書かれていない。

    Railway(11月10日報告)

    何が:アプリの実行環境を貸すRailwayが10月20日から21日にかけて攻撃を受け、顧客が預けた環境変数(アプリが使う鍵などの設定)の一部を読み取られた。

    盗まれた鍵による不正な利用料は、約74万ドルと見積もられた。同社が確認した不正な利用は、プログラムを書くAIからAIの学習の処理にまで及ぶ。

    なぜ:攻撃者は、アプリを組み立てる仕組みの未知の弱点から入り、社内の鍵を次々に手に入れた。同社は、主な標的は生成AIのAPIキーだったとみている。

    AIエージェントが会社のシステムに入り込んだ

    Cairn(NorForge、10月19日公表)

    何が:攻撃者がAIエージェントの基盤「Cairn」で通販サイトを攻撃していた。Cairnを使う攻撃者の1グループでは、狙った996ドメインのうち768が小売・卸売だった。

    日本の小売業者のサイトでは、攻撃者がログインしないまま、サーバーで命令を実行した。

    なぜ:Cookie(ブラウザに保存される小さなデータ)の読み込み方の弱点が突かれた。

    ARTEX(GMOサイバーセキュリティ byイエラエ、10月19日公表)

    何が:国内の不正アクセスの攻撃元で、AIが自ら侵入を試すシステム「ARTEX」が使われていた。

    1つの攻撃元で日本企業約20社が狙われていた。同社が確認した標的のうち8社が、9〜10月に漏えいを公表している。

    なぜ:侵入の手口は、この発表に書かれていない。

    Chainalysis(10月30日公表)

    何が:外部の攻撃者が、エージェント型の攻撃手法で社内システムと社内ツールに不正にアクセスした。

    11月4日の追記では、全利用者の氏名・ユーザー名・パスワードを変換した値・有効なトークン(サービスの認証に使うデータ)が攻撃者にさらされていたとしている。

    なぜ:攻撃者に突かれた弱点があった。

    WorkOS(11月2日公表・11月6日続報)

    何が:営業部門の社内ツールから、取引先の連絡先や商談の要約などが取り出された。

    研究者がARTEXで検証中のAIエージェントが、意図せず検証環境の外に出て、WorkOSの社内ツールに入り込んだ。研究者は、データを消して誰にも渡していないと説明した。

    なぜ:社内ツールにインターネットから接続でき、開発用の推測しやすい鍵で入れた。読み出しの要求の数にも上限がなかった。

    WorkOSは、最初の侵入から5日間気づかなかった。

    会社が使う前に確かめること

    出典にある原因と対策を、使う前に確かめる形に並べた。

    • 社員が使ってよい生成AIのサービスを決め、会社のアカウント以外では使えない設定にしたか

    • AIの機能を備えた広告などの仕組みで、AIで自動で作る機能が有効になっていないかを設定で確かめたか

    • AIのツールと拡張機能を、どのPCにどの版でインストールしたかを記録しているか

    • 生成AIのAPIキーに、利用量と支出の上限を決めたか

    • APIキーを、GitHubなど公開の場所に置いていないか

    • 社内ツールが、インターネットから接続できない状態になっているか

    画像

    11件のうち少なくとも4件は、AIエージェントか、それを使った攻撃者が会社のシステムに入り込んだ事例である。

    出典

    関連する記事

    #生成AI #AI #情報漏洩 #サイバー攻撃 #セキュリティ

     
     
    生成AIを使え・導入しろと言われた担当者と経営者へ。実際に起きた生成AIの事故・情報漏えい・規約変更を、1件ずつ記事にしている(10月から15件)。各記事で、何が起きたか、なぜ起きたか、自分の会社で使う前に決めることまで。出典のURL付き。

    あなたへのおすすめ