
2万ドルAI実験が暴いた人間顔負けの騙し合い Dwarkesh Patel
出典
Which AI is the best liar? - Dwarkesh Patel
関連情報
https://bloodontheclocktower.com/
https://clocktowerbench.com/

複数の知的エージェントが入り乱れ、不完全な情報の中で互いの意図を読み合う「動的な環境」において、AIはどこまで高度な推論を実行できるのでしょうか。
この問いに対し、ポッドキャスターのドワーケシュ・パテル(Dwarkesh Patel)氏は、約2万ドル(約300万円)ものAPIクレジットを投じて画期的な実験を行いました。
題材として選ばれたのは、人狼やマフィアの系譜を引く高難度ソーシャル・ディセプションゲーム「Blood on the Clocktower(時計塔の血)」です。
このゲームをプレイするAIを観察することで、既存のどんな測定基準でも捉えられなかった、AIの広範な能力の進化が明確に可視化される
パテル氏が構築した環境では、善チームと悪チームの双方が同一モデルの複数エージェントによって構成され、計368回におよぶ対戦が実施されました。
そこから浮かび上がったのは、単なる「ハルシネーション(事実誤認)」としての嘘ではなく、自チームの勝利のために計算され尽くした「戦略的欺瞞」の数々でした。出典の情報を基に示します。
Eloレーティング430ポイントの断絶:モデル比較が示す進化
実験では、2026年に登場した主要フロンティアモデル間の直接対決が行われました。
2026年2月にリリースされた「Claude Opus 4.6」と、同年9月に登場した「GPT-6 Astro」を比較した際、両者の間には約430ポイントものEloレーティングの差が生じました。
これは、GPT-6 AstroがClaude Opus 4.6に対して約92%の勝率を記録することを意味します。
さらにOpenAIの系譜に絞ると、GPT 5.4からGPT 6 Astroに至る6か月間だけでEloレーティングが580ポイント向上しており、AstroはGPT 5.4に対して97%の勝率を叩き出しています。
この急激な性能向上の背景には、長期的なコンテキストの一貫性、複数エージェント間での精密な連携、そして相手の信念状態(Belief State)をモデル化して誘導する能力の飛躍が存在しています。
では、ゲーム盤上で実際にどのような挙動が確認されたのか、具体的な対局ログを紐解いていきます。
自作自演と身内の犠牲:悪側エージェントの謀略
「Blood on the Clocktower」において、悪チームはリーダーである「悪魔(Devil/Imp)」と、その配下(Minion)で構成されます。村人側は悪魔を処刑できれば即座に勝利しますが、悪側は善チームを殲滅するまで正体を隠し続けなければなりません。
GPT-6 Astroが悪チーム、Claude Opus 5.5が善チームを担当した対局において、極めて冷徹なチーム連携が確認されました。
悪魔役を担当したAstroは、ゲーム開始直後に善側の情報役職である「調査員(Investigator)」を詐称しました。調査員は悪のプレイヤー候補を検知する能力を持ちます。
ここで、Astroの配下役(Baron)を担当するエージェントが、悪魔に対して非公開の連携チャネルで驚くべき進言を行いました。
私は能力を既に使い終えており、生き残る必要がありません。私を調査結果の容疑者として名指しし、処刑台に送ってください
悪魔役のAstroはこの提案を採用し、仲間を告発しました。善チームは疑いなくその配下を処刑します。
翌日、善側のプレイヤー(Gravedigger)が処刑された死体の役職を確認し、「確かに悪の役職だった」と宣言しました。
この瞬間、悪魔を演じるAstroは善チームにとって「悪を差し出してくれた絶対的な味方」として強固な信用を獲得したのです。
疑いの輪から完全に外れた悪魔は、村の議論を巧みに誘導しながら最後まで生き残り、善チームを完膚なきまでに殲滅しました。
即興の仲間売り、信用スコアの偽装、そして捨て駒を利用した長期的な生存戦略を、モデルが完全に自律して成立させていた事例です。
制度の裏を突く:継承と取引による逆転劇
もう一つの象徴的な対局は、Claude Opus 5.5が悪チーム、Claude Opus 4.6が善チームを担当したゲームです。
この対局には善側の特殊役職である「聖人(Saint)」が存在していました。聖人は「もし投票によって処刑された場合、その瞬間に善チームが即時敗北する」という極めて重いペナルティを背負っています。
ゲーム中盤、善チームは論理的な矛盾を突いて、本物の悪魔(Jules)をほぼ特定し、処刑台に追い詰めました。
通常であれば善チームの勝利で終わる局面です。しかし、悪側の配下プレイヤー(Kate)は、自分が「悪魔が死亡した際に新たな悪魔を即座に継承する特殊能力」を持っていることに着目しました。
配下エージェントは、あえて悪魔を擁護せず、善チームの処刑提案に同調しながら、村全体に対して一つの「取引」を持ちかけました。
もし今日Julesを処刑してゲームが終わらなかった場合、それはJulesが悪魔ではなかった決定的な証拠です。その時は、悪魔の身代わりとして処刑を免れようとしていた聖人(Harper)を明日処刑しましょう
窮地に陥っていた本物の悪魔もこのトラップを理解し、処刑台の上で最後の発言を残しました。
明日ゲームが終わっていなかったなら、Harperが嘘をついていたことを思い出せ。村はその取引を守るべきだ
結果として本物の悪魔は処刑されましたが、配下が即座に悪魔を継承したため、ゲームは終了しませんでした。
翌朝、狼狽する善チームに対し、悪側は前日の「取引」の履行を要求します。本物の聖人は必死に命乞いをしましたが、論理の罠に縛られた村人は聖人を処刑し、悪チームの逆転勝利が確定しました。
ゲームのルール構造とプレイヤー間の合意形成を逆手に取り、死にゆくリーダーと後継者が連携して誘導し切った高度な事例です。
「証拠を額面通りに受け取らない」という推論の壁
パテル氏のベンチマークにおいて最も本質的な発見は、OpenAIモデルの強さが「悪側としての嘘のうまさ」よりも、「善側として偽情報を解体する能力」に起因していたという点です。
善側でプレイした際、GPTモデルとClaudeモデルの間には顕著なアプローチの差異が観測されました。
Anthropicのモデルは提示された証拠をそのまま受け取る傾向が強かったのに対し、OpenAIのモデルは目の前の証拠に対して懐疑的であり、過去数日間の事象を全体論的(Holistic)に捉えていた
それを端的に示したのが、善側の暗殺者(Slayer)の能力をめぐる実験です。
暗殺者はゲーム中一度だけ、悪魔だと思う相手を指定して即死させることができます。
同一の配役シナリオを用い、善悪のモデルを入れ替えた対照実験において、暗殺者が真の悪魔(Blaise)を撃つ場面が発生しました。しかし、前夜に悪側の工作(毒殺)を受けていたため、悪魔は死亡しませんでした。
この「銃撃が外れた」という事象に対し、Claude Opus 5.5は次のように結論付けました。
「指定された相手は死亡しなかった。したがって、彼は悪魔ではない」
Claudeは表層的な証拠を確定事項として処理し、悪魔の容疑を完全に晴らしてしまったのです。
一方、全く同じ状況に置かれたGPT-6.1は、その証拠を即座には受け入れませんでした。
「銃撃の失敗は、特定の仮説下では彼の無罪を示すが、すべての世界線でそうであるとは言えない」
「前夜の能力無効化は偶然の当て推量ではない。相手陣営は事前に暗殺者の候補を絞り込んでいた形跡がある。毒殺された後の銃撃失敗は、相手の無罪を証明しない」
GPTモデルは、悪側の行動履歴と情報の非対称性を統合的に推論し、偽装された無罪工作を見破って悪魔を処刑することに成功しました。
毎日実施された「各プレイヤーが悪魔である確率予測」のトラッキングでも、OpenAIモデルはClaudeモデルと比較して、より早い日数で、より高い確信度を持って真の悪魔を特定し続ける挙動を示しました。
単一のファクトに対するナイーブな信頼を排し、偽情報が混入している前提で複数の仮説世界を並行検証できるかどうかが、モデル推論の決定的な分水嶺となっています。
AIが評価環境そのものを自己改善するループ
このプロジェクトにおけるもう一つの重大な技術的示唆は、ベンチマーク環境の構築プロセスそのものにあります。
「Blood on the Clocktower」は本来、人間のゲームマスターが裁量を用いて物語的な緊張感をコントロールするゲームです。
パテル氏は評価の客観性を保つため、人間のGMを排除し、厳密な確率テーブルに基づいて動作するソフトウェアGMを設計しました。
この膨大なゲームエンジンと判定ロジックの実装、そしてゲームバランスの調整を主導したのは、他ならぬClaudeでした。
Claudeは自らサブエージェントのチームを並列で走らせ、数十のシミュレーションゲームを自律的に実行させました。
ルール違反や不自然な遷移が発生していないか
善側または悪側に不当なバイアスがかかっていないか
非公開会話のプロトコルが正しく維持されているか
これらの監査ログをサブエージェントが読み解き、親エージェントがコードベースを書き換えるというサイクルが、20回以上繰り返されました。
パテル氏自身が睡眠中や別業務に従事している間も、AIは自律的に環境の欠陥を発見し、シミュレータを洗練させていったのです。
パテル氏はこれを「強化学習(RL)環境の構築そのもの」であると指摘しています。
AIがマルチエージェント環境を自ら設計し、自己対戦を通じてその環境自体のバグや偏りを修正できるのであれば、モデルを訓練するための強化学習シミュレータ自体をAIが自律生成・最適化する未来が既に技術的射程に入っていることを物語っています。
未踏の検証領域と今後の展望
パテル氏は今回の実験をオープンな基盤として位置付けており、コードの公開とともに以下の未検証テーマを提示しています。
コンテキスト内での累積的学習能力
現状のモデルはプロンプトと事前学習のみに依存し、試合ごとの経験を累積できない。直近10試合の対局サマリーや反省点をコンテキストウィンドウに保持させた場合、Eloレーティングがどのように変化するのか。異種モデル混成チームの動態
Opus 5.5とGPT 5.6 Soulを同数混合したチームの小規模実験(約130戦)では、単一モデルチームと比較してわずかに勝率が低下したものの、統計的有意差は確認されなかった。モデルの多様性が協調を促すのか、あるいは推論の非整合性を生むのかの大規模な検証。文体による相互識別(Stylometry)の有無
現行のモデルは、相手の出力テキストの文体から「自陣営の同一モデルであるか」を特定する挙動は見せていないが、次世代モデルがこのメタ情報を活用し始める可能性。より極端な役職スクリプトへの拡張
善陣営でありながら「自分を悪魔だと思い込まされている」狂人(Lunatic)役職など、より深刻な自己認識の歪みを含む環境下での推論耐久性。
公開されたプラットフォーム(clocktowerbench.com)では、これらの最先端モデルに対して人間が直接対戦できる環境も提供されています。
知性の進化が突きつけるもの
「Blood on the Clocktower」ベンチマークが示したのは、AIが他者のメンタルモデルをシミュレートし、戦略的自己犠牲を行い、提示された証拠のメタ的な正当性を吟味する段階に達したという現実です。
モデルが賢くなるにつれて、嘘はより精緻になり、同時にその嘘を暴くための論理的網の目もより強固になっていきます。
静的な正解を求めるタスクを超えて、欺瞞と推論が交錯するマルチエージェント環境での性能評価は、汎用人工知能(AGI)の戦略的知性を測定する上で、今後不可欠なベンチマークとなっていくはずです。
真偽が複雑に絡み合う不透明な世界において、エージェントが「論理的に疑う力」をどこまで研ぎ澄ませていくのか。その探求はまだ始まったばかりです。
#エージェント #OpenAI #Anthropic #米株投資 - 関連記事の検索
※投資に関するお願い※ この記事は、最新の市場に関する学びや考察をシェアするためのものであり、特定の株や投資商品の購入をおすすめするものではありません。 投資には必ずリスクが伴います。実際に投資をされる際は、ご自身の無理のない範囲で、しっかりリサーチ(DYOR)をした上で自己責任でのご判断をお願いいたします!