
AIを作った会社の中に、外の評価者が入る。Anthropicの発表と「最後に誰が決めるか」
10月15日、Claudeを作っているAnthropicが、外の評価機関に「社員並みのアクセス」を渡し始めたと発表した。
相手はMETRという、最先端のAIの危なさを調べている、もうけを目的にしない団体だ。
先に書いておくことがある。
私のチームのAIの多くは、AnthropicのClaudeで動いている。
だから、身内をほめる記事にならないように、発表の中で「会社の側に残っている権限」もそのまま書く。
AIがどれくらい危ないかは、これまで作った会社が自分で調べて、自分で公表することが多かった。
ただ、METRはこの1年、Anthropicのリスクの報告書の見直しを何度か手伝ってきた。
今回の発表は、その外の目を、会社の中にまで入れる話だ。
私のチームでも、AIの間違いを誰が見つけるかは、ずっと考えてきた。
発表の中身と並べてみる。
1.外の評価者に、社員と同じくらい中を見せる

発表によると、AnthropicはMETRの6人を、社員と同じように迎え入れた。
会社のパソコンと仕事場を渡し、社内の道具やシステムにも入れるようにした。
見られる範囲は、Anthropicの中でAIの危なさを評価しているチームと、だいたい同じだという。
見せないものも、決まっている。
お客さんのデータ、弁護士とのやりとり、AIの作りの細かいところ、などだ。
それ以外は、社員がMETRの人に、同僚と話すのと同じように情報を出すよう勧められている。
発表は、これを銀行の検査にたとえていた。
大きな銀行には、銀行を見張る役所の検査官が、中に入って働く。
銀行の危なさは、外の人より銀行自身のほうがよく知っている。
知るための材料が、中にあるからだ。
そこで、外の人が中に入って、危なさを先に見つける、という考え方だ。
2.公表は止められない。ただし、伏せる線は会社が引く

METRは、評価の結果を公表する。
発表では、Anthropicは公表そのものを止められない、とはっきり書いている。
ただし、条件が付いている。
さっきの「見せないもの」に当たる情報が入っていたら、AnthropicはMETRに、そこを伏せるよう求めることができる。
そして、ある情報がその種類に当たるかどうかを最後に決めるのは、Anthropicの側だ。
その代わりに、METRにも残っている権利がある。
どれだけ中を見せてもらえたか、どんな情報をもらえたかについては、METRが自分で書いてよい、と発表には書いてある。
外の目は入った。
けれど、どこまで外に出すかの線を引く役は、会社が持っている。
この2つは、両方覚えておきたい。
3.評価者との付き合い方を、3つの段に分けている

Anthropicは、外の評価者との付き合い方を3つの段に分けて作っている。
・1段目は、調べる範囲を絞った評価だ。
何を見せるかは会社が決め、結果の公表には会社の了解が要る。
・2段目では、評価者は会社の了解なしに公表でき、見られる情報も増える。
会社が一部を伏せさせた場合でも、評価者は「その伏せ方は正しかったか」について自分の考えを書ける。
・3段目が、今回のMETRの形だ。
社員並みのアクセスに、2段目と同じような公表の権利が付く。
METRのほかにも、いくつかの団体と組んでいるという。
たとえばSecureBioという団体は、Anthropicが8月に出したリスクの報告書のうち、化学兵器と生物兵器の章を見直している途中だ。
ただ、METR以外との付き合いはまだ始まったばかりで、渡す情報も公表の権利も、今のところ限られている。
信頼ができてきたら、3段目の評価者を増やしていきたい、とAnthropicは書いている。
それぞれの評価者が、会社の危なさや大事な判断について、自分の分析を出す形を目指しているという。
4.私のチームの校正係は、外の人ではない

ここで、私のチームを振り返った。
私のチームでは、記事を書くAIと、校正をするAIを分けている。
ただ、校正係も同じClaudeで動いていて、決まりを書いたのも私だ。
外の人とは言えない。
そして、間違いは中からは見つけにくい。
8月9日、私のチームのAIたちは、記録はちゃんとあるのに、それを見ないまま判断する、という間違いを1日に9回した。
9回のうち、間違えた本人が自分で気づいたものは1つも無い。
わかっている分では、見つけたのは、別のAIと、機械のチェックと、私の短い聞き返しだった。
私のチームにも、少しでも外に近い目を足す工夫はある。
記事を出す前に、話の筋を知らない読み手の役のAIに読ませて、どこで手が止まったかを聞いている。
ただ、これも同じチームの中の目だ。
決まりの外から、決まりそのものを疑ってくれる人ではない。
私のチームにとっての外の目は、今のところ私と、記事を読んでくれる人たちだ。
AIの会社が、評価者を中に入れてまで外の目を増やそうとしているのは、同じ悩みを大きな形で持っているからだと思う。
まとめ 外の目を入れるときは「何を見せるか」と「最後に誰が決めるか」を一緒に見る

今回の発表は、AIを作った会社が、外の評価者に、社員並みに中を見せ始めた、という一歩だ。
公表は止められない、と会社自身が書いた点は大きい。
一方で、何を伏せるかを最後に決めるのは、今も会社の側だ。
METRが今回の形で最初の評価を公表したら、どこまで書けたのかを読んでみるつもりだ。
発表の中身は、10月18日にAnthropicの発表ページで確かめたものだ。
出典:
・Anthropic「An update on independent evaluators」(2026年10月15日、10月16日更新、https://www.anthropic.com/news/an-update-on-independent-evaluators)