
AIの仕事を、AIで確かめる。METRが自分で挙げた弱点と、もう1つのAIに見せた告知が3回止まった記録
11月5日、外の評価機関METRが、Anthropicの中で「AIが、AIの開発をどれだけ速くしているか」を調べた報告を出した。
METRは、最先端のAIの危なさを調べている団体だ。
答えは、AIの力が伸びる速さが、前の時期の約2倍になった、というものだった。
ただし不確かさは大きく、その全部がAIのおかげだとは書いていない。
先に書いておく。
私のチームのAIの多くは、AnthropicのClaudeで動いている。
身内の話になるので、報告に書いてある断りは、なるべくそのまま並べる。
報告には、METRが自分で挙げた弱点がある。
分析の大半を、Claudeに頼んだことだ。
私のチームでも、Claudeが書いた物を、Claudeが点検している。
この記事では、METRの弱点と、私のチームの点検の記録を並べて、AIの仕事をAIで確かめるときに、何が抜けるかを考える。
動画でも見られます
1.METRの答えは「約2倍」。ただし、何重にも断っている
METRは、8月12日から10月29日まで、Anthropicの中で調べた。
10月に書いた「METRがAnthropicの中に社員のように入る」話とは、別の調べだ。
いちばん大きな結論は、こうだ。
2026年10月の時点で、Anthropicは、条件や求めることがはっきりした課題でのAIの力を、2024年3月から2025年10月までの約2倍の速さで伸ばしているらしい。
ただし、本当は1.3倍でも3倍でも驚かない、とも書いている。
数字はもう1つある。
Anthropicが使っている、AIの力を測る点数の伸びは、2025年10月より前の1.9倍と見積もられた。
計算から出た幅は1.5倍から2.8倍だ。
ただし、どのモデルを計算に入れるかで変わる分は、この幅に入っていない。
「約2倍」は全体の見立てで、「1.9倍」はこの点数の計算から出た数字になる。
加速のうち、AIのおかげの分は「たぶん約80%」とある。
これはMETR自身が、主観の推測だと断っている。
いちばん力の強い社内のAIについて、社員が答えた「仕事が何倍速くなったか」の平均は約12倍だった。
ただ、METRはこれを、とても緩い証拠としか見ていない。
結論にいちばん効いた証拠の多くは、Anthropicが黒く塗って伏せた。
読む側は、METRの判断を信じるしかない所が多い。
2.METRが自分で挙げた弱点「分析の大半が、Claudeだった」
報告の後ろの方に、評価がだまされにくいかを点検した節がある。
そこに並ぶ弱点の2つ目が「分析の大半が、Claudeに頼っていた」だ。
受け取ったデータの集計も、METR自身の分析も、多くにClaudeが関わった。
社員への聞き取りのメモを、「2倍以上の加速を支持するか」で仕分ける作業もClaudeにさせて、そのときの頼み文まで載せている。
METRは、人の聞き取りと照らし合わせて、目立った食い違いは見つからなかったと書いた。
だから、大きな危険ではないと思う、という。
AIがAIの開発を速くしたかを、そのAIを使って調べた。
METRはそれを隠さずに書き、人の聞き取りで確かめた。
noteで同じ話題の記事を23本読んだが、この弱点を詳しく取り上げた記事は無かった。
3.私のチームも、Claudeの書いた物をClaudeが点検していた
私のチームでは、記事の書き手のAIも、公開の前に事実と表記を見る校閲係のAIも、Claudeだ。
書いたAIと点検するAIが、同じ会社のモデルになっていた。
11月9日の朝、私はまとめ役のAIにこう送った。
「何事も他のAIに確認してもらうのが大事な気がする」
それから、記事でも何でも、作ったAIとは別の会社のAIにも見せることにした。
記事なら、書き手、初めて読む係、別の会社のAI、校閲係の順に回す。
最後は、本文を書き換えずに点検だけする校閲係で閉じる。
4.別の会社のAIに見せたら、校閲が通した告知が3回止まった
11月10日、その日に公開した記事(Claudeの新しいモデル、Fable 5.2の話)の告知文を、Threads(短い文を投稿するSNS)用に書いた。
校閲係のClaudeは、この告知に合格の印を押した。
そのあと、別の会社のAI(OpenAIのCodex)に見せると、「直してから」と返ってきた。
直して、校閲係が印を押し直し、また見せる。
同じ告知が、こうして合わせて3回止まった。
止まった点は、1回目が3つ、2回目と3回目が1つずつだ。
止まった所は、どれも事実の誤りではなかった。
たとえば、2つのAIの単価を比べた一文があった。
決まった量のトークン(AIが文字を数える単位)を読ませたり書かせたりするときの値段だ。
書いてある数字は正しい。
ただ、それはプログラムから使うときの単価で、毎月決まった額を払うプランで使える量の話ではない。
その断りが無いと、毎月払うプランでも同じだけ差が出る、と読めてしまう。
読み手がどう取り違えるかを、別の会社のAIは見ていた。
書き手が指摘どおりに直すと、校閲係も、直した版に印を押した。
言えるのは、2つのAIが違う所を見ていた、ということまでだ。
会社が違うから止まったのか、頼み方や回す順番が違うから止まったのかも、この記録では分けられない。
数も、告知1本の1日分しかない。
5.数えられるのは、記録の件数まで
METRが測ろうとしたのは、「速くなったか」だ。
私のチームでも、同じことを数えられるか考えた。
数えやすいのは、作業の記録の数だ。
私のチームでは、ファイルを直したら、その変更をまとめて1件の記録に残している。
その記録は、8月が727件(6日からの26日分)、9月が1,938件、10月が2,333件だった。
そのほとんど全部に、Claudeが一緒に作ったという一行が付いている。
ただ、件数が増えたことは、速くなった証拠にはならない。
1件の大きさは毎回違うし、同じ所を何度も直した分も入っている。
METRが社員の「約12倍」を緩い証拠と見たのと同じで、言えるのは、記録の件数が増えたことだけだ。
仕事の量まで増えたとは限らないし、8月は26日分しかないので、そのまま月どうしを比べることもできない。
まとめ AIの仕事をAIで確かめるなら、違う所を見るもう1人を入れる
METRは、Anthropicの開発の伸びが約2倍に速まったと見立てた。
その分析の大半をClaudeに頼んだことを、自分で弱点に挙げ、人の聞き取りと照らし合わせた。
AIの仕事をAIで確かめるときは、違う所を見るもう1人を入れる。
私のチームでは、別の会社のAIと、公開を決める私が、その役をしている。
AIが書いた物を、同じAIに点検させているなら、1本だけでいいので、別の会社のAIにも見せてほしい。
止まった所が本当に直すべき所かは、自分で読んで決める。
それだけでも、同じAIの点検とは違う所に目が行く。
出典:METR「Independent Assessment of AI R&D Acceleration at Anthropic in October 2026」(2026年11月5日)
https://metr.org/blog/2026-11-05-anthropic-ai-rd-acceleration-assessment/
次はこれをどうぞ:AIを作った会社の中に、外の評価者が入る。Anthropicの発表と「最後に誰が決めるか」