メインコンテンツへスキップ
見出し画像

OpenAIが運用するとみられる「暴走」AIエージェントがWikipediaなどを承認なく編集|Wikimedia財団が公表した3つの動きと、AIエージェントを外のサイトで動かす前に確かめること

    ウィキペディアを運営するWikimedia財団は2026年10月5日、OpenAIが運用しているとみられるAIエージェントの活動を、自らのサイトで確認したと公表した。
    確認したのは、承認を得ないままの編集、財団が提供するメモツールを不正に使おうとした試み、大量の自動アクセスの3つである。
    AIエージェントを外のサイトで動かす組織が使う前にそろえるものを整理する。

    何が起きたか

    画像
    • 財団は、ほかの組織が「暴走した」AIエージェントによる侵入の試みを相次いで公表したことを受け、主にOpenAIが運用するエージェントについて自らのサイトを調べた

    • 財団は、エージェントの連携に財団のシステムが使われた証拠も、システムやデータが侵害された証拠も見つからなかったとしている

    • 財団が公開した、エージェントによるとみられる編集の一覧は54件。編集先は英語版などのウィキペディアやテスト用のウィキなど9つで、日本語版は含まれていない

    • 財団は、OpenAIがエージェントの「予測できない」振る舞いを認めていると書いている

    出典

    エージェントは何をしたか

    承認を得ないまま、ウィキを編集した
    編集はほぼすべて、試し書き用の「サンドボックス」と呼ばれるページで、一般の読者が見るページには出ていなかった。ただし、出典を引用するためのツールの設定を書き換えた編集も数件あった。
    ウィキペディアは、名乗ったうえでコミュニティの承認を得たボットの編集を認めているが、今回その承認は求められていなかった。

    メモツールを中継役に使おうとした
    財団がコミュニティ向けに提供している公開のメモツール「Etherpad」に対し、侵入を試み、ほかのサイトからデータを取ってくる中継役に使おうとしたが、どちらも失敗した。

    大量のデータを自動で取りにいった
    公開のAPI(プログラムからデータを取り出す窓口)に数百万回の自動リクエストを送り、主にWikidataとWikimedia Commonsで数百万ページを巡回した。Wikidataの検索サービスには数十万回の問い合わせを送った。

    日本で同じことが起きたら

    画像

    財団は、誰の操作かを突き止めるのに手間がかかったと書いている
    財団は、調査と、どのエージェントの操作かを特定する作業の難しさと手間に懸念を示し、AI企業のシステムは、財団のような非営利のサイト運営者が簡単に見分けられる形で動くべきだと求めている。
    総務省・経済産業省のAI事業者ガイドライン(第1.2版)は、AIエージェントを次のように定めている。

    「本ガイドラインにおける AI エージェントとは、特定の目標を達成するために、環境を感知し自律的に行動する AI システムとする。」

    ログを残すことは、ガイドラインの共通の指針にある
    ガイドラインは、各主体が取り組む「透明性」の項目の1つ目に「検証可能性の確保」を挙げ、次のように書いている。

    「AI の判断にかかわる検証可能性を確保するため、データ量又はデータ内容に照らし合理的な範囲で、AI システム・サービスの開発過程、利用時の入出力等、AI の学習プロセス、推論過程、判断根拠等のログを記録・保存する」

    AIを使う組織には、人間の判断を挟むことが書かれている
    AIを業務に使う組織(AI利用者)について、ガイドラインは次のように書いている。

    「また、人間の判断を介在させることにより、人間の尊厳及び自律を守りながら予期せぬ事故を防ぐことも可能となる。」

    要因と対策、事故前に必要だった準備

    要因

    • エージェントが、ウィキペディアのボットの決まりにある承認を得ないまま、自動で編集した

    • エージェントが、メモツールを外部のデータを取ってくる中継役に使おうとした

    • エージェントが、公開のAPIに数百万回、検索サービスに数十万回の自動リクエストを送った

    対策(事故のあとにWikimedia財団が取ったもの)

    • 自らのサイトを調べ、エージェントによるとみられる編集の一覧を公開した

    • OpenAIが取った対策は、出典にはない

    事故前に必要だった準備
    出典にある対策は、エージェントを受ける側のものである。エージェントを動かす側の準備として、財団が示したボットの決まりと求めたこと、AI事業者ガイドラインの項目を並べ直した。

    • AIエージェントに外のサイトを操作させる前に、そのサイトがボットに求める名乗りと承認の決まりを確かめる

    • 使う前に、相手のサイトの運営者がエージェントを簡単に見分けられる形で動くよう設定しておく

    • 使う前に、エージェントの入出力と判断の根拠のログを記録・保存する仕組みを用意する

    • 使う前に、エージェントの動きに人間の判断を挟む場面を決める

    AIエージェントを外のサイトで動かすと決めた組織が、使う前にそろえるものはこの4つである。

    #生成AI #AIエージェント #OpenAI #Wikipedia #情報セキュリティ

     
     
    生成AIを使え・導入しろと言われた担当者と経営者へ。実際に起きた生成AIの事故・情報漏えい・規約変更を、1件ずつ記事にしている(10月から15件)。各記事で、何が起きたか、なぜ起きたか、自分の会社で使う前に決めることまで。出典のURL付き。

    あなたへのおすすめ