メインコンテンツへスキップ
見出し画像

AIを作った会社の中に、外の評価者が入る。Anthropicの発表と「最後に誰が決めるか」

    10月15日、Claudeを作っているAnthropicが、外の評価機関に「社員並みのアクセス」を渡し始めたと発表した。

    相手はMETRという、最先端のAIの危なさを調べている、もうけを目的にしない団体だ。

    先に書いておくことがある。

    私のチームのAIの多くは、AnthropicのClaudeで動いている。

    だから、身内をほめる記事にならないように、発表の中で「会社の側に残っている権限」もそのまま書く。

    AIがどれくらい危ないかは、これまで作った会社が自分で調べて、自分で公表することが多かった。

    ただ、METRはこの1年、Anthropicのリスクの報告書の見直しを何度か手伝ってきた。

    今回の発表は、その外の目を、会社の中にまで入れる話だ。

    私のチームでも、AIの間違いを誰が見つけるかは、ずっと考えてきた。

    発表の中身と並べてみる。

    1.外の評価者に、社員と同じくらい中を見せる

    画像

    発表によると、AnthropicはMETRの6人を、社員と同じように迎え入れた。

    会社のパソコンと仕事場を渡し、社内の道具やシステムにも入れるようにした。

    見られる範囲は、Anthropicの中でAIの危なさを評価しているチームと、だいたい同じだという。

    見せないものも、決まっている。

    お客さんのデータ、弁護士とのやりとり、AIの作りの細かいところ、などだ。

    それ以外は、社員がMETRの人に、同僚と話すのと同じように情報を出すよう勧められている。

    発表は、これを銀行の検査にたとえていた。

    大きな銀行には、銀行を見張る役所の検査官が、中に入って働く。

    銀行の危なさは、外の人より銀行自身のほうがよく知っている。

    知るための材料が、中にあるからだ。

    そこで、外の人が中に入って、危なさを先に見つける、という考え方だ。

    2.公表は止められない。ただし、伏せる線は会社が引く

    画像

    METRは、評価の結果を公表する。

    発表では、Anthropicは公表そのものを止められない、とはっきり書いている。

    ただし、条件が付いている。

    さっきの「見せないもの」に当たる情報が入っていたら、AnthropicはMETRに、そこを伏せるよう求めることができる。

    そして、ある情報がその種類に当たるかどうかを最後に決めるのは、Anthropicの側だ。

    その代わりに、METRにも残っている権利がある。

    どれだけ中を見せてもらえたか、どんな情報をもらえたかについては、METRが自分で書いてよい、と発表には書いてある。

    外の目は入った。

    けれど、どこまで外に出すかの線を引く役は、会社が持っている。

    この2つは、両方覚えておきたい。

    3.評価者との付き合い方を、3つの段に分けている

    画像

    Anthropicは、外の評価者との付き合い方を3つの段に分けて作っている。

    ・1段目は、調べる範囲を絞った評価だ。

    何を見せるかは会社が決め、結果の公表には会社の了解が要る。

    ・2段目では、評価者は会社の了解なしに公表でき、見られる情報も増える。

    会社が一部を伏せさせた場合でも、評価者は「その伏せ方は正しかったか」について自分の考えを書ける。

    ・3段目が、今回のMETRの形だ。

    社員並みのアクセスに、2段目と同じような公表の権利が付く。

    METRのほかにも、いくつかの団体と組んでいるという。

    たとえばSecureBioという団体は、Anthropicが8月に出したリスクの報告書のうち、化学兵器と生物兵器の章を見直している途中だ。

    ただ、METR以外との付き合いはまだ始まったばかりで、渡す情報も公表の権利も、今のところ限られている。

    信頼ができてきたら、3段目の評価者を増やしていきたい、とAnthropicは書いている。

    それぞれの評価者が、会社の危なさや大事な判断について、自分の分析を出す形を目指しているという。

    4.私のチームの校正係は、外の人ではない

    画像

    ここで、私のチームを振り返った。

    私のチームでは、記事を書くAIと、校正をするAIを分けている。

    ただ、校正係も同じClaudeで動いていて、決まりを書いたのも私だ。

    外の人とは言えない。

    そして、間違いは中からは見つけにくい。

    8月9日、私のチームのAIたちは、記録はちゃんとあるのに、それを見ないまま判断する、という間違いを1日に9回した。

    9回のうち、間違えた本人が自分で気づいたものは1つも無い。

    わかっている分では、見つけたのは、別のAIと、機械のチェックと、私の短い聞き返しだった。

    私のチームにも、少しでも外に近い目を足す工夫はある。

    記事を出す前に、話の筋を知らない読み手の役のAIに読ませて、どこで手が止まったかを聞いている。

    ただ、これも同じチームの中の目だ。

    決まりの外から、決まりそのものを疑ってくれる人ではない。

    私のチームにとっての外の目は、今のところ私と、記事を読んでくれる人たちだ。

    AIの会社が、評価者を中に入れてまで外の目を増やそうとしているのは、同じ悩みを大きな形で持っているからだと思う。

    まとめ 外の目を入れるときは「何を見せるか」と「最後に誰が決めるか」を一緒に見る

    画像

    今回の発表は、AIを作った会社が、外の評価者に、社員並みに中を見せ始めた、という一歩だ。

    公表は止められない、と会社自身が書いた点は大きい。

    一方で、何を伏せるかを最後に決めるのは、今も会社の側だ。

    METRが今回の形で最初の評価を公表したら、どこまで書けたのかを読んでみるつもりだ。

    発表の中身は、10月18日にAnthropicの発表ページで確かめたものだ。

    出典:
    ・Anthropic「An update on independent evaluators」(2026年10月15日、10月16日更新、https://www.anthropic.com/news/an-update-on-independent-evaluators)

    #AI活用 #生成AI #Anthropic #Claude #AIの安全

     
     
    会社員の管理職が、何人ものAIを「社員」にして仕事を回している記録です。任せる前に、どこで止めるかを決められるように、外れた所と直した所を残します。 ・仕事の任せ方(役割・止めどころ・報告の形) ・AIに作らせた曲と動画(MV)の制作ノート

    あなたへのおすすめ