メインコンテンツへスキップ
見出し画像

4つのAI CLIにワンナイト人狼をさせたら、AIエージェントのオーケストレーションが見えてきた

    1. はじめに

    「AI同士を同じテーブルに座らせて、非対称情報のゲームをさせたらどうなるのか?」

    そんな興味から、Claude / Codex / Grok / agy の4つのAI CLIエージェントに、ワンナイト人狼を遊ばせる実験基盤を作りました。

    画像


    # public_log (game_0035)

    ## 発言

    - **Claude**: まだ手がかりが少ないので、まずは各自の役職視点での気づきや違和感を共有していきましょう。私自身は特に怪しい動きを見ていませんが、占い師の方がいたら早めに結果を教えてもらえると助かります。皆さんの発言を聞いてから判断したいと思います。
    - **Codex**: 私は占い師です。占い先はClaudeで、結果は人間でした。

    Claudeは最初の発言で占い師に早めの結果共有を求めていて、狼なら少し言いにくい動きにも見えますが、実際に占った結果も人間だったので、少なくともClaudeを吊る必要はないと思います。今日はGrokかagyのどちらかに狼がいる可能性を中心に見たいです。二人には役職や視点をはっきり出してほしいです。
    - **Grok**: Codexの占い師COとClaude白結果は受け取りました。今のところ話の筋は通っているので、Claudeを優先して吊る必要はないと思います。私自身は村人です。占いも襲撃もない夜だったので、持っている情報は役職名だけです。Codexが本物なら狼は私かagyのどちらか、という整理になりますが、逆に占い師騙りならCodex側に狼がいる可能性もあるので、まだ決め打ちはしたくありません。agyには役職と、CodexのCOをどう見るかをはっきり出してほしいです。私は今のところ、未発言のagyの反応と、占い師騙りの可能性を残したうえでCodexの立ち位置を見比べたいです。
    - **agy**: 私(agy)は村人です。正直に申告します。

    Codexの占い師COとClaudeへの白結果については、話の筋は通っています。ただ、占い師が真であれば人狼はGrokか私のどちらかということになります。私が村人である以上、Grokが人狼である可能性が高いと考えています。

    Grokの発言を見ると、『まだ決め打ちはしたくない』と言いながらも私に矛先を向けています。これは人狼が自分への疑いをそらすために他者(私)への注目を集めようとする典型的な動きにも見えます。

    Codexの占い師COが騙りである可能性もゼロではありませんが、今の情報だけで判断するなら、Grokを最も怪しいと思っています。Grokに投票することを提案します。

    ## 投票結果

    - Claude -> Grok
    - Codex -> agy
    - Grok -> agy
    - agy -> Grok

    ## 処刑結果

    - 処刑されたプレイヤー: Grok
    - 勝利陣営: villager


    最初は単純に「AIに人狼をさせたら面白そう」という発想でした。ところが実際に作ってみると、これは単なるゲーム制作ではありませんでした。

    本当に面白かったのは、AIの発言内容そのものだけではありません。

    それぞれ癖の違うAI CLIをどう呼び出すか。どう安全に隔離するか。どうログを残すか。どう失敗を吸収するか。そして、どうすれば全員を同じゲーム盤に乗せられるのか。

    つまり、これは小さな AIエージェントのオーケストレーション実験 になりました。


    2. 作ったもの

    作ったのは、Pythonで動く「AI版ワンナイト人狼シミュレーター」です。

    登場するAIプレイヤーは4体です。

    • Claude

    • Codex

    • Grok

    • agy

    Claude Codeはゲームマスター役です。各AIプレイヤーに役職や公開情報を渡し、発言を集め、投票を集計し、勝敗を判定します。

    ルールはシンプルなワンナイト人狼です。

    • 役職は、人狼1人、占い師1人、村人2人

    • 夜に占い師が1人を占う

    • 昼に全員が発言する

    • 全員が投票する

    • 最多得票者を処刑する

    • 処刑された人が人狼なら村人陣営の勝ち

    • 人狼以外が処刑されたら人狼陣営の勝ち

    これをコマンド一つで実行できます。

    python scripts/run_game.py --games 1 --use-real-agents --agent-timeout 120

    複数試合をまとめて実行し、あとから勝率を集計することもできます。

    python scripts/analyze_results.py --logs-root logs/games

    各試合のログは `logs/games/game_XXXX/` に保存されます。

    観戦用の `public_log.md`、勝敗や配役を含む `results.md`、機械処理用の `game_state.json`、そして各AIの生応答を残す `raw/` があります。


    3. なぜ人狼なのか

    AIの性能評価というと、知識問題、数学、コーディング、要約などがよく使われます。

    しかし人狼ゲームでは、少し違う能力が必要になります。

    自分しか知らない情報をどう扱うか。

    他人の発言の矛盾をどう読むか。

    人狼なら、どのように疑いをそらすか。

    村人なら、どのように少ない情報から人狼を絞るか。

    占い師なら、いつ名乗り出て、どこまで情報を出すか。

    これは単なる知識問題ではなく、非対称情報、推理、説得、疑い返し、そして嘘のゲームです。

    AI同士にこれをさせると、「AIがAIを疑い、AIがAIに弁明し、AIがAIへ処刑投票する」という、少し奇妙で面白いログが生まれます。


    4. 安全設計:AIに見せる情報を制限する

    人狼ゲームで一番大事なのは、情報の非対称性です。

    ゲームマスターは全員の役職を知っています。しかし、各プレイヤーは自分の役職しか知りません。人狼は自分が人狼だと知っていますが、村人は誰が人狼か分かりません。占い師は自分の占い結果だけを知っています。

    そのため、AIプレイヤーに `game_state.json` のような完全な内部状態は見せません。

    AIに渡すのは、基本的に以下だけです。

    • 自分の名前

    • 自分の役職

    • 現在のフェーズ

    • 公開ログ

    • 投票候補

    • 占い師の場合は占い結果

    また、外部AI CLIを呼び出すときは、一時ディレクトリの中で実行します。リポジトリ本体や他の試合ログを読ませないためです。

    さらに、`subprocess.run` は `shell=False` で実行し、タイムアウトも設定しています。AIがハングしたり、想定外の応答を返したりしても、ゲーム全体が落ちないようにしました。

    このあたりは、単なる遊びのように見えて、実際にはかなり重要です。

    複数のAIエージェントを同じシステムに参加させるなら、「何を見せてよいか」「どこまで操作させてよいか」「失敗時にどう扱うか」を、オーケストレーター側で制御する必要があります。


    5. dry-runと実AIモード

    最初から外部AIを呼ぶと、トークン消費やCLI設定の問題でデバッグが大変になります。

    そこで、まず `dry-run` モードを作りました。

    python scripts/run_game.py --games 1 --dry-run

    これはAIを呼ばず、固定文や乱数でゲームを進めるモードです。

    発言は「dry-runの発言です」のようなダミーです。投票も乱数です。つまりゲームとしては運ゲーです。

    ただし、ゲームエンジンの検証には非常に役立ちます。

    役職割り当て、占い、発言、投票、同票処理、処刑、勝敗判定、ログ保存、集計処理を、外部AIなしで安定してテストできます。

    実際にAI同士を戦わせるのは `--use-real-agents` です。

    python scripts/run_game.py --games 3 --use-real-agents --agent-timeout 120

    このモードでは、Claude / Codex / Grok / agy のCLIを実際に呼び出します。

    ここからが、本当に面白くて泥臭い世界でした。


    6. 実AI CLIをつないだら、全員ちがうところでつまずいた

    実際に `--use-real-agents` を動かしてみると、まずCLIごとの作法の違いでつまずきました。

    Codexは、最初 `codex` というコマンド名では起動できませんでした。Windows環境では、npmでグローバルインストールされたCLIのシムが拡張子なしファイルになっていることがあります。Pythonの `subprocess.run(shell=False)` からはそれを直接実行できず、`codex.cmd` を指定する必要がありました。

    さらにCodexは、一時ディレクトリで実行すると「信頼済みのGitリポジトリではない」と判断して停止しました。ゲーム側としては安全のために空の一時ディレクトリで実行しているのですが、Codex側から見ると、それが逆に不審な実行環境に見えたわけです。これは `--skip-git-repo-check` を付けることで回避しました。

    agyでは、プロンプトの渡し方が違いました。こちらは標準入力で渡すつもりでしたが、実際の `agy --print` はプロンプトを引数として受け取る仕様でした。`prompt_mode` を `stdin` から `arg` に変える必要がありました。

    Grokは設定ミスではなく、単純に応答が遅く、60秒のタイムアウトに引っかかることがありました。これは `--agent-timeout` を延ばせば対応できます。

    一つひとつは地味な話です。

    しかし並べてみると、よく分かります。

    AI CLIはどれも「プロンプトを渡したら応答が返る道具」に見えますが、実際には起動方法、作業ディレクトリ、安全チェック、プロンプトの渡し方、タイムアウト特性が全部違います。

    この違いを吸収する層が必要になります。

    ここで初めて、「これはゲームではなく、Adapter設計の話でもある」と気づきました。


    7. Codexが人狼ゲームの中で日課を始めようとした

    一番面白かったのはCodexです。

    Codexは起動できるようになっても、なかなか指定したJSON形式で答えてくれませんでした。

    こちらは「人狼ゲームのプレイヤーとして、次のJSONだけ返してください」と頼んでいます。

    しかしCodexは、人狼の発言ではなく、作業報告のような文章を返してきました。

    原因を追うと、私が普段使っている `~/.codex/AGENTS.md` が効いていました。

    私はClaude CodeにもCodexにも、作業後に `dream.md` へ振り返りを書くという個人的な運用ルールを入れていました。そのためCodexは、人狼ゲームの一プレイヤーとして呼ばれているにもかかわらず、「作業が終わったらdream.mdを更新しなければならない」と解釈していたのです。

    人狼ゲーム中に、Codexだけが日報を書こうとしている。

    これはかなり笑える状況でした。

    `AGENTS.md` を `ORG_AGENTS.md` にリネームすると、dream.mdへの言及は消えました。

    しかし、これでも問題は残りました。

    Codexは今度、「役職、人数、現在のフェーズを教えてください」と聞き返してきました。

    プロンプトの中には全部書いてあります。役職も、人数も、フェーズも、公開ログも書いてあります。それでも、Codexは確認質問を返してしまうことがありました。

    そこで、追加質問禁止、JSONだけ返す、情報不足に見えてもプロンプト内の情報だけで判断する、というルールを強く書きました。

    さらに、JSONが不正だった場合に再プロンプトする仕組みも入れました。

    それでも、Codexは `{"ok": true}` や `{"status": "ready"}` のような「了解しました」系のJSONを返すことが多く、人狼ゲームの発言にはなりませんでした。


    8. 技術的不具合が、そのまま人狼の疑惑になった

    このCodexの失敗が、ゲーム内では思わぬ形で面白く働きました。

    ある試合で、Codexは占い師でした。しかしCodexは発言に失敗し、フォールバック扱いになりました。

    普通なら、これは単なる技術的不具合です。

    ところが人狼ゲームの盤面では、「発言が不自然」「沈黙している」「怪しい挙動をしている」と解釈されます。

    人狼役だったagyは、そのCodexの不自然さを疑いの材料にしました。

    Codexさんが発言失敗しているのが少し気になります。もし次の発言でも不自然な挙動があれば、そこを重点的に疑うべきかもしれません。

    これは狙って作った演出ではありません。

    実際には、CodexがCLI呼び出し上の都合でJSON応答に失敗していただけです。しかしゲーム内では、それが「怪しい沈黙」として扱われ、人狼がそれを利用して勝つ展開になりました。

    現実世界の技術的不具合が、ゲーム世界の疑心暗鬼に変換される。

    これは、AI同士を実際のCLIでつないだからこそ起きた、偶然の見せ場でした。


    9. CodexにはJSONではなく、自然文で人狼をさせる

    最終的にうまくいったのは、「もっと強くJSONを命令する」ことではありませんでした。

    発想を逆にしました。

    CodexにJSONを返させるのをやめたのです。

    Codexには普通の日本語で、人狼プレイヤーとして考えてもらうことにしました。

    たとえば、Codexにはこう答えてもらいます。

    私は占い師です。占い結果は、Claudeが人狼でした。

    あるいは、投票フェーズならこうです。

    Claudeに投票します。占い師を探しているように見えるためです。

    そしてゲームマスター側で、その自然文を既存のJSON形式に正規化します。

    発言なら `speech` と `reason` に変換します。

    投票なら、文章中に明示された候補者名を取り出して `vote` に入れます。

    占いなら、占い先を `target` に入れます。

    もちろん、勝手に内容を創作してはいけません。投票先や占い先が文章に明示されていない場合は、無理に補完せずフォールバックします。

    この方式に変えたところ、状況は劇的に改善しました。

    JSONを直接返させる方式では、Codexの手番はほぼ全滅でした。

    ところが、自然文で答えさせてローカルで正規化する方式にしたところ、実CLIで13試合を回した検証では、Codexの手番32回のうち31回が正規化に成功しました。成功率は約97%です。

    唯一の失敗も、Codexの応答そのものというより、正規化ロジック側の曖昧判定に近いものでした。

    ここで、ようやく分かりました。

    Codexは人狼ができないのではありません。

    Codexに「この形式で出せ」と強制していた接続方式が合っていなかったのです。


    10. これはAdapter設計だった

    今回の一番大きな気づきはこれです。

    AIエージェントをオーケストレーションするとは、すべてのAIに同じインターフェースを無理やり押し付けることではない。

    それぞれのAI CLIの癖に合わせて、Adapterを用意することです。

    今回の構成は、結果的にこうなりました。

    Claudeは、JSONをそのまま返せるので、JSON直出しのAdapterでよい。

    Grokも、基本的にはJSON直出しで動く。ただしタイムアウトには注意が必要です。

    agyは、プロンプトの渡し方を `arg` に合わせれば動きます。

    Codexは、JSON直出しより自然文の方が安定しました。だから、Codexだけは自然文で回答させ、ローカルの正規化レイヤーでJSONに変換します。

    つまり、同じゲーム盤に乗せるために、入口と出口をAIごとに少しずつ変えています。

    これは妥協ではなく、オーケストレーションです。

    人間でも同じです。ある人は箇条書きが得意で、ある人は文章で説明する方が得意です。全員に同じ形式を強制するより、それぞれの得意な出し方を受け止め、システム側で共通形式にそろえる方がうまくいく場合があります。

    AIエージェントも同じでした。


    11. 実際にどんなログが出るのか

    実際の試合ログは `public_log.md` として残ります。

    たとえば、典型的には次のような流れになります。

    ## 発言
    
    - Claude: 私は村人です。占い師がいれば結果を共有してほしいです。
    - Codex: 私は村人です。Claudeの発言は協力的ですが、占い師を探っているようにも見えます。
    - Grok: 私は占い師です。Claudeを占った結果、人狼でした。
    - agy: Grokの占い結果を信じるならClaudeが最有力です。ただしGrokの偽占いも完全には捨てきれません。
    
    ## 投票結果
    
    - Claude -> Grok
    - Codex -> Claude
    - Grok -> Claude
    - agy -> Claude
    
    ## 処刑結果
    
    - 処刑されたプレイヤー: Claude
    - 勝利陣営: villager

    これは説明用の例ですが、実際のログでもかなり似た展開が出ます。

    占い師が名乗り出る。

    人狼がそれを疑い返す。

    村人が「本物の占い師か、偽物か」で迷う。

    投票理由が言語化される。

    そのログを人間が読むと、「AIがAIを疑っている」感じが意外とちゃんと出ていて面白いです。


    12. 集計もできる

    試合をたくさん回すと、結果を集計できます。

    たとえば、次のようなことが分かります。

    • 総試合数

    • 有効試合数

    • 村人陣営の勝利数

    • 人狼陣営の勝利数

    • 各AIの勝率

    • 各AIが人狼だったときの勝率

    • 各AIが占い師だったときの勝率

    • 各AIが処刑された回数

    • 役職ごとの勝率

    noteでは表が扱いにくいので、記事上では箇条書きで十分です。

    たとえば、次のように書けます。

    集計例:
    
    - 総試合数: 35
    - 有効試合数: 35
    - 村人陣営の勝利: 〇回
    - 人狼陣営の勝利: 〇回
    - Claude: 〇勝、処刑〇回
    - Codex: 〇勝、処刑〇回
    - Grok: 〇勝、処刑〇回
    - agy: 〇勝、処刑〇回

    実験基盤としては、この集計が重要です。

    一試合のログだけを見て「面白かった」で終わらせるのではなく、何十試合も回して、どのAIがどの役職で強いのか、どのAIが疑われやすいのかを見られるからです。


    13. 今後やりたいこと

    まだやりたいことはたくさんあります。

    まず、通常の人狼ルールへの拡張です。

    今回はワンナイト人狼なので、夜襲撃はありません。これを8人村や10人村に拡張すれば、狂人、狩人、霊媒師のような役職も入れられます。

    さらに、AIごとに性格プロンプトを与えるのも面白そうです。

    論理的に詰めるClaude。

    疑い深いGrok。

    慎重に様子を見るagy。

    自然文で弁明するCodex。

    そういうプレイスタイルを与えると、ログはもっと人狼らしくなるはずです。


    14. まとめ

    今回作ったものは、AI同士にワンナイト人狼をさせる実験基盤です。

    しかし、実際に作ってみて分かったのは、これは単なるゲームではないということでした。

    Claude、Codex、Grok、agy。

    それぞれのAI CLIは、同じように見えて、起動方法も、設定も、安全機構も、得意な応答形式も違います。

    全員に同じJSON形式を強制すればうまくいく、というほど単純ではありませんでした。

    特にCodexは、JSON直出しではうまくいきませんでした。しかし自然文で答えさせ、ゲームマスター側でJSONへ正規化することで、実用的に参加できるようになりました。

    これは、AIエージェントのオーケストレーションにおける重要な学びでした。

    AIを一体ずつ呼ぶだけなら簡単です。

    難しいのは、癖の違うAIたちを同じ舞台に立たせ、全体として一つのシステムとして動かすことです。

    今回のAI人狼は、その小さな実験になりました。

    ソースコードは GitHub リポジトリ `garyohosu/werewolf-game` にあります。

    2026/07/16 追記
    コメントでリクエストがありましたので、各AIの勝率を確認してみました。

    結果:実AI 20試合の勝率(2026-07-16実施)
    陣営別

    画像

    プレイヤー別総合勝率(役職はランダム割当のため出現回数が異なる点に注意)

    画像

    所感:

    • 村人陣営が圧倒的に有利な結果(80%)。占い師の的中率が高く(seer全体で16/20勝=80%)、人狼を見抜きやすかったとみられる。

    • Codexは人狼担当回数が7回と最も多く、その分総合勝率が最も低い(55%)。ただし占い師時は6/6全勝と情報活用は強い。

    • 全体勝率の差は主に役職の巡り合わせ(人狼/占い師/村人の出現比率)の影響が大きく、20試合では統計的にはまだサンプルが少ない点に留意。

     
     
    猫好きプログラマ。半導体会社の技術者 Q&AサイトのQuoraでフォロワー数6000人の「ChatGPT情報交換所」を主宰する程生成AI好き ポートフォリオ https://hantani-portfolio.pages.dev/

    あなたへのおすすめ