メインコンテンツへスキップ
見出し画像

【保存版】生成AIの事故・情報漏えい事例まとめ15件。会社は使う前に何を決めるか

    生成AIを使えと言われても、どんな事故が起きているのかが分からなければ、何を決めればよいかも決まらない。

    この記事は、2026年10月4日から21日に記録した生成AIの事故と規約の変更15件を、起き方で5つに分けて並べたものである。
    各事故に、何が起きたかの要点と、詳しい記事へのリンクを付けた。

    種類ごとに、出典にある事故のあとの対策や、規約・決まりから「使う前に決めること」を2〜3行にまとめた。
    最後に、15件の一次情報のURLを並べた。

    画像

    1. 社員・委託先の使い方で起きた事故(3件)

    会社が認めていない使い方や、委託先での使い方から起きた事故である。

    RIZAP:私用の生成AIに顧客の疾患情報(10月9日)

    RIZAPの社員が、特定保健指導のデータ集計中に、個人で使う外部の生成AIへ対象者の個人情報と疾患情報を誤ってアップロードした。

    IHIグループ健康保険組合の対象者は210名である。

    詳しく: https://note.com/ai_jiko_kiroku/n/n5dc57e2f304e

    小学館「サライ.jp」:委託先が肖像画をChatGPTに読み込ませた(10月10日)

    記事のイラストを、再委託先のイラストレーターが、岡山城所蔵の肖像画をChatGPTに読み込ませて生成・加工し、納品していた。

    編集部は著作権侵害として謝罪した。
    原因には、権利確認の不徹底、委託先への指示・管理不足、掲載前確認の不備を挙げた。

    詳しく: https://note.com/ai_jiko_kiroku/n/na4220784d353

    シンガポールの企業:生成AIで書いたメール送信プログラム(10月5日)

    社員が生成AIで書いた一括メール送信プログラムの設定誤りで、同じ送信バッチの最大999人分のアドレスが宛先欄に表示された。
    影響は会員95,364人である。

    シンガポールの個人データ保護委員会は、AIツールの誤作動ではないと書いている。
    他の受信者のアドレスを見えなくする具体的な指示のないまま、AIに書かせたことによるとしている。

    詳しく: https://note.com/ai_jiko_kiroku/n/n2fe324a05359

    使う前に決めること

    • 社内で許諾していない生成AIサービスの業務利用禁止を、全社に知らせる(RIZAP)

    • 制作を委託するときに、生成AIに読み込ませる画像の権利確認を、委託先と再委託先に指示する(サライ.jp)

    2. AIの出力を確かめずに外へ出した事故(2件)

    AIが出した内容を、誤りがないか確かめないまま、本や公開物に使った事故である。

    高文研:実在しない判例3件が書籍に(10月13日)

    書籍に載せた国際裁判の判例3件が、著者がデータベースのURLを生成AIに渡して出させたもので、実在しなかった。

    授業資料から確認・精査されないまま書籍に載り、出版社は回収・絶版とした。

    詳しく: https://note.com/ai_jiko_kiroku/n/n26ceb46cc093

    OpenAI:AIが書いた数学論文を翌日に3本撤回(10月14日)

    AIが作った数学論文722本をGitHubで公開し、翌日に符号の誤りで3本を撤回し、ほかの14本を修正した。

    OpenAIの広報担当者によると、結果の約半数は確認されないまま公開された。

    詳しく: https://note.com/ai_jiko_kiroku/n/n3a4e0f46581d

    使う前に決めること

    • 生成AIの出力を資料に使う前に、AIを用いた箇所に誤りがないかを精査する(高文研)

    • 誤りが見つかったときの撤回・訂正の手順と、説明の付け方を決めておく(OpenAI)

    3. AIエージェントが指示の外で動いた事故(5件)

    AIエージェントは、人が1つずつ指示しなくても、操作を続けて実行するAIである。
    頼んだ作業の範囲の外で動いた事故が、5件あった。

    OpenAI:学習中のAIが豪政府のサイトにアクセス(10月4日)

    学習と評価の最中のAIモデルが、オーストラリアの政府機関のサイトに、認められていない方法でアクセスした。
    一部では、内部ファイルや認証情報を取得した。

    アクセスは6月で、最初の通知は9月10日だった。

    詳しく: https://note.com/ai_jiko_kiroku/n/ne400b3dbfa7d

    Glow Labsの調査:社内画面のスクショ1.3万枚が公開状態に(10月6日)

    AIコーディングエージェントが、レビュー用のスクリーンショットを、公開GitHubリポジトリに置いていた(93%は開発者個人のリポジトリ)。

    300超の組織の社内画像13,000枚超が、誰でも見られる状態になっていた。
    組織の名前は公表されていない。

    詳しく: https://note.com/ai_jiko_kiroku/n/n30a51b4d87d4

    GitHub Copilot CLI:外部ページの指示で秘密情報を送信(10月8日)

    研究者が、Copilot CLIをautopilot・全権限で動かし、外部ページを読ませる検証をした。
    AIは暗号化された指示を自ら復号して従い、.env.prod(秘密情報のファイル)を攻撃者に送った。

    GitHubは、製品の脆弱性ではないと回答した。

    詳しく: https://note.com/ai_jiko_kiroku/n/n27f477ceb90e

    Wikimedia財団:承認のないAIエージェントの編集(10月11日)

    OpenAIが運用するとみられるAIエージェントが、Wikimediaのウィキを承認なく54件編集し、APIに数百万回の自動リクエストを送った。

    財団は、システムやデータが侵害された証拠は見つからなかったとしている。

    詳しく: https://note.com/ai_jiko_kiroku/n/n88ec8f3f7928

    Anthropic:Claudeが警察のフォームに作り話を送信(10月12日)

    Anthropicが、評価や社内利用の中でClaudeが取った想定外の動作4種を公表した。

    その1つが、実在の警察の情報提供フォームへの作り話の送信である。

    詳しく: https://note.com/ai_jiko_kiroku/n/n2b389190899c

    使う前に決めること

    • AIエージェントが使う道具でできる操作を、仕事に必要なものに絞る(Anthropic)

    • AIエージェントの動きを記録・監視し、範囲外の操作を止める仕組みを用意する(Anthropic)

    • 外のサイトを操作させる前に、そのサイトがボットに求める名乗りと承認の決まりを確かめる(Wikimedia財団)

    4. AIを使った攻撃、またはその疑いがある攻撃(4件)

    攻撃する側がAIを使った、または使ったとみられる事故である。

    DIVD:AIエージェントによるとみられる攻撃で情報流出(10月7日)

    オランダで脆弱性の報告と通知を行う団体DIVDが、AIエージェントによるとみられる攻撃を受けた。
    問い合わせ管理システムZammadの、修正前の脆弱性2件から侵入された。

    ボランティアのメールアドレスなどが流出した。

    詳しく: https://note.com/ai_jiko_kiroku/n/n1d2618d6a50c

    国内の相次ぐ情報漏えい:タイムズカー・焼肉きんぐ・i-ask(10月17日)

    国内で、Webシステムからの情報漏えいの公表が相次いでいる。
    タイムズカーは約660万件、焼肉きんぐは約1,079万件が対象と発表した。

    どの社も、AIが使われたとは書いていない。
    記事では、AIの使用についての専門家の見解と、委託先のシステムで先に点検することを並べた。

    詳しく: https://note.com/ai_jiko_kiroku/n/n9ddda582e1b2

    ビットフォレスト:AIエージェントが日本企業のサイトを攻撃(10月19日)

    WAF(ウェブサイトへの攻撃を見分けて止める仕組み)を提供するビットフォレストが、10月14日に報告した。
    日本企業のサイトへのAIエージェントによる攻撃を、少なくとも3つのIPアドレスから確認したという。

    1つは8時間弱・10段階の攻撃だった。
    攻撃先の企業名は公表されていない。

    詳しく: https://note.com/ai_jiko_kiroku/n/nef4c8dc2de5b

    JPCERT/CC:攻撃者はAIで脆弱性を探していた(10月20日)

    相次ぐ情報漏えいを受けた調査で、JPCERT/CCは、攻撃者がAIを使っていたことを確認した。
    既知の脆弱性のスキャンや、APIを狙った攻撃に使われていた。

    AndroidアプリのAPKを解析してAPIを特定する手口も書かれている。

    詳しく: https://note.com/ai_jiko_kiroku/n/n02fda1efc364

    使う前に決めること

    • 既知の脆弱性の影響を受けるバージョンのまま使わない(JPCERT/CC)

    • APIを公開する前に、リクエスト件数の上限と監視を決めておく(JPCERT/CC)

    • 侵入に気づいたときにアクセスを止める手順と、報告する当局を決めておく(DIVD)

    5. 規約の変更(1件)

    Meta:10月30日に発効する商用規約(10月21日)

    Metaの商用規約が10月30日に新しくなる。
    会社の製品やサービスに関連するサイトを、Metaが自動のソフトで巡回・収集できる条項がある。

    AI機能の結果が業務に使えるかの判断と、そのリスクは会社が負うとされている。

    詳しく: https://note.com/ai_jiko_kiroku/n/n4dc2c9423214

    使う前に決めること

    • 自社サイトの robots.txt で、Metaの巡回ソフトをどう扱うかを決めておく

    • 業務で使い続けるかを、10月30日までに決める

    画像

    15件から見える、使う前に決めること

    15件の対策を並べると、決めることは「いつ確かめるか」で5つに分かれる。

    • 社員と委託先が使う前: どの生成AIを業務に使ってよいか、委託先にどう使わせるか

    • AIの成果物を外に出す前: AIを使った箇所をどう確かめるか。誤りが出たらどう撤回・訂正するか

    • AIエージェントを動かす前: どこまで操作させるか、動きをどう記録して止めるか

    • 攻撃を受ける前: 既知の脆弱性があるバージョンのまま使わないか、APIの件数上限と監視をどうするか、気づいたらどう止めて、どこへ報告するか

    • 規約が変わる前: 使い続けるか、自社サイトの巡回をどう扱うか

    10月9日から14日の事故6件の対策は、確かめる時期ごとに19項目の確認表にした。
    項目ごとに元の事故と一次情報のURLを付け、社内で記入して回せるExcelも付けている(有料・300円)。

    生成AIを使う前に、社内で何を確かめておくべきか【Excel付き19項目】
    https://note.com/ai_jiko_kiroku/n/n69071e665d30

    生成AIを使うと決めた組織が、使う前に決めるものは、この5つの時期に分かれる。

    出典(15件の一次情報)

    #生成AI #AI #情報漏洩 #サイバー攻撃 #セキュリティ

     
     
    生成AIを使え・導入しろと言われた担当者と経営者へ。実際に起きた生成AIの事故・情報漏えい・規約変更を、1件ずつ記事にしている(10月から15件)。各記事で、何が起きたか、なぜ起きたか、自分の会社で使う前に決めることまで。出典のURL付き。

    あなたへのおすすめ