0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

個人開発の PR レビューに 2 人目の AI を入れたら、トークンが 2 〜 3 割減った

0
Posted at

個人開発の PR レビューに 2 人目の AI を入れたら、トークンが 2 〜 3 割減った

個人開発で Claude Code を 2 名ロールで並列起動し、PR のクロスレビューを回していました。観点はアーキテクチャ系と品質系の 2 軸。独立性を保つために、片方のレビュー結果をもう一方が読まない構成です。動いてはいたのですが、1 ラウンドあたりのトークン消費が想定より重く、毎月の API クレジットを気にしながら回す状態でした。

そこに OpenAI Codex を「3 人目のレビュアー」として挟んでみたら、Claude 側のレビュートークンが 12 〜 30% のレンジで減りました。3 種類の試算方法を独立に走らせて出した結果で、レンジで収束している分だけ「概ねこの範囲」と言える数字です。さらに、Claude 2 名が見逃していた致命的な指摘を 3 件、Codex が独立に拾いました。本記事は、その構成と実例と数値の話です。

§1 なぜ 2 人目の AI を足したのか

最初に置いていた構成は、Claude Code のサブエージェントを 2 名、Task ツールで同一メッセージ内に並列起動するものでした。1 名はアーキテクチャ観点(境界・依存・命名規約・SSoT 設計)、もう 1 名は品質観点(テスト網羅・境界値・例外系・冪等性)。互いのレビュー結果を読まない約束で、独立性はセッション分離で構造的に守られていました。

問題は、1 ラウンドが軽くないことでした。あるリポジトリのレビュー 1 ラウンド(再レビュー含む 10 セッション)の合計実測値は、Claude サブエージェント側だけで 82 万トークン超。1 セッションあたり 4 万 〜 12 万トークンの幅で、Read と推論と出力が積み上がっていきます。並列で 2 名同時に回すと、PR 1 本あたりの体感コストが「気になるけど止めるほどではない」位置にずっと滞留していました。

動機は 2 つです。1 つはトークン節約。もう 1 つは、Claude 2 名で独立性を保っても 同じ LLM family を使っている以上、検査パスが似通う可能性 がある、という疑念でした。同じモデル系統が「同じ盲点」を共有しているなら、独立セッションにしても拾えない指摘が残ります。別系統のレビュアーを 1 名混ぜると、その盲点に光が当たるかもしれない。そう考えて Codex を 3 人目に据える設計に振りました。

ここで補足しておくと、Codex を入れるからといって Claude 2 名を減らす設計にはしませんでした。観点(アーキテクチャ / 品質)の分担はそのまま残し、Codex を上から重ねる構成です。「観点を統合して 1 名に圧縮する」方向は、独立性を弱めるリスクのほうが大きいと判断しています。本記事の構成は「Claude 2 名 + Codex 1 名」の 3 人体制が前提で、Codex 単独や Claude 単独への置換は検討範囲に入っていません。

§2 フロー構築 — AGENTS.md グローバル symlink から並列起動まで

§2-1 前提

私が想定しているのは、Claude Code のサブエージェント並列起動と、Codex CLI の /codex:review を併用する構成です。Codex は OpenAI のサブスク経由で叩きます。Codex 側のトークンは Anthropic クレジットとは別枠なので、本記事の節約効果は「Anthropic 側がどれだけ減ったか」の話だけです。

§2-2 AGENTS.md グローバル symlink

Codex は起動時に ~/.codex/AGENTS.md を組織共通の設定として読みに行く挙動があります。私は、組織横断のレビュー観点(命名規約・SSoT 設計・冪等性ガード等)を 1 つのプロジェクト内に AGENTS.md として実体で置き、それを ~/.codex/AGENTS.md から symlink で参照させる構成にしました。設置は 1 コマンドです。

# 組織ルールを置きたいプロジェクトのルートから
ln -s "$(pwd)/AGENTS.md" ~/.codex/AGENTS.md

配下構造はこうなります。

~/projects/org-root/AGENTS.md    ← 実体(組織横断ルール)
~/.codex/AGENTS.md               → symlink → ~/projects/org-root/AGENTS.md

意図はシンプルで、組織固有のレビュー観点を 1 箇所で管理して、Codex のどのセッションでも自動で継承させる ことです。プロジェクト固有の追加観点がある場合は、各リポジトリのルートに AGENTS.md を別途置く派生形に逃がせます(Codex はプロジェクトルートの AGENTS.md も併用で読みます)。

公式の説明だとプロジェクトごとに置く想定が強いのですが、個人開発で複数リポジトリを並走している場合は、組織ルールを 1 つの実体に集約しておくほうが更新が 1 箇所で済みます。Codex 側で「このリポジトリでは何を見るか」のブレが構造的になくなります。

§2-3 起動順序

実際の起動は、おおむね次の順で並びます。

1. PR を draft で push
        ↓
2. Claude Code 2 名を並列起動(独立セッション)
   ├─ reviewer-architecture
   └─ reviewer-quality
        ↓
3. 両者の MD レビューが揃う
        ↓
4. Codex を 3 人目として起動(/codex:review)
   入力: PR diff + 既存 reviewer 2 名のレビュー MD(参照のみ)
        ↓
5. Codex 結果を独立に採点
        ↓
6. 共造 / 単独検出 を裁定 → 修正サイクル or merge へ

Codex は 両 reviewer のレビュー MD を見る 設計です。ただし、参照のみで、肯定や否定をしない指示を渡します。これは「Codex に Claude の追従をさせない」ためで、「Codex は別の角度から PR diff を独立に読み、Claude 側が既に指摘済みかどうかは結論に反映させない」というルールにしてあります。狙いは観点の重複削減ではなく、独立検出の取りこぼしを減らすことです。

§2-4 受け渡し方

Codex に渡す入力は、PR の diff と、既存 reviewer 2 名のレビュー MD だけです。受け取り側では、結果を frontmatter に 1 行で記録します。

codex-status: succeeded   # succeeded | failed | skipped
codex-error-reason: ""    # failed / skipped の場合のみ

failed のとき(タイムアウト・認証切れ・スキルアップデート直後の一時障害など)は、理由を 1 行で残します。黙って省略すると後追いができないので、ここはサボらない決まりにしてあります。skipped は、docs only PR や自動生成ファイルのみの PR のような「Codex を走らせる意味が薄い」ケースで、根拠を 1 行残します。

そして merge 直前のゲートで、両 reviewer の frontmatter に codex-status が 存在すること を機械的に確認するステップを 1 つ挟みました。値が欠落していたら merge を一度止め、レビュー記録の補完を要求します。Codex を回したかどうかが PR レビューのトレーサビリティに乗らないと、後で「あの PR は Codex 通したっけ?」が消えるので、この機械的チェックだけは残しています。

§2-5 何が独立性担保になっているか

Claude 2 名の独立性は「同じ会話セッションを共有しない」「互いのレビュー MD を Read しない」の 2 段で守られていました。ここに Codex を足すと、独立性の階層が 1 段増えます。Codex は別 IDE プロセス、別認証、別モデル系統です。同じ会話文脈を共有しようがなく、構造的に分離されています。

ここで重要なのは、家族違いのレビュアーが 1 人混ざること自体に意味があるという点です。Claude 2 名の構成は、観点(アーキテクチャ vs 品質)は分けているものの、推論機構そのものは同じファミリーに属しています。同じ知識カットオフ、同じ強化学習の傾向、同じ「ありがちな見落とし」を共有している可能性が常にあります。Codex を入れる目的は「Codex の方が賢いから」ではなく、「同じ LLM family の合意による偽の安心」を 1 段切るためです。

§3 品質軸の実例 — Claude Code 2 名が見逃した Critical 3 件

数値の話に入る前に、品質側の話を先に置きます。Codex を挟んだことで実際に拾えた指摘のうち、Critical 級が 3 件ありました。3 件とも Claude 2 名は気付かず、merge 直前に止められた指摘です。

レビュー結果を読み終えたとき、頭に浮かんだのは「やっぱり Codex を入れて良かった」以外ありませんでした。むしろそれ以上に、これまで Claude 2 名だけで approve して merge してきた過去のレビュー全部に、薄い疑いが残ってしまったぐらいです。今動いているコードの中にも、同じ構造の見落としがまだ眠っているのではないか、と。

一度 Codex に既存コード全体の再点検をかけ直してもらった方がいいのかもしれない、とすら思いました。Critical 3 件は、これから書くコードへの安心ではなく、すでに書いたコードへの再点検動機を私に渡してきたのだと思います。

実例 1: 部分 UNIQUE INDEX の WHERE 句と状態機械の不整合

ある cron 系ジョブで、CREATE UNIQUE INDEX ... WHERE status IN ('queued','running') という部分 UNIQUE INDEX を貼って、二重投入を防ぐ設計を組んでいました。WHERE 句に含まれる状態だけ一意性制約が効き、completed や failed に遷移した行は INDEX 対象から外れて履歴として残せます。一見すると正しい設計です。

Codex はこの WHERE 句と、application 側の状態遷移コードの 跨ぎ整合 に踏み込みました。リカバリ処理で failed 行を再投入するときに status を queued に戻す経路があり、WHERE 句的には「queued の新規行」と衝突する条件が成立する。リカバリ時に二重 INSERT を許してしまうケースが残っていました。

Claude 2 名は、部分 INDEX 単体の正しさはチェックリストに入れていましたが、application の状態遷移と INDEX の WHERE 句を同時に読んで矛盾を探す経路は持っていませんでした。修正は、WHERE 句と状態遷移を 1 つの SSoT として揃え、両端の整合を単体テストで検証する方向に倒しています。

図にすると、状態機械側のリカバリ経路(failed → queued)が INDEX の一意性範囲(queued / running)の中に戻ってくることが見えます。INDEX 単体・状態機械単体ではそれぞれ正しく、跨ぎで初めて穴が出るタイプです。

実例 2: rollup SQL の GROUP BY と NULL 行の 24 倍計上

別のジョブで、時間ごとの利用量を集計する rollup SQL を書いていました。GROUP BY hour_bucket, model で時間 × モデル別に集約する設計です。

Codex は、model カラムが NULL のレコードが流入する経路と、それを集計するクエリ側の組み立てに踏み込みました。NULL 行が想定外の経路で時間軸方向に多重カウントされ、本来 1 件のはずが約 24 倍に膨らんで計上されるパターンが残っていました。集計値が静かに膨らみます。詳細なメカニズム(集約キーの組み方・JOIN 経路・範囲集計の重なり)は依存関係が長いため、別記事で個別に扱う予定です。

Claude 2 名は「想定インプットに NULL は含まれない」前提でテストケースを書いており、SQL の境界条件としての NULL を独立に検証していませんでした。修正は COALESCE(model, 'unknown') で NULL を 1 バケットに寄せ、単体テストに NULL 行で 1 行計上される検証を足しています。

NULL を「値が無い」ではなく「unknown という値」に正規化することで、集約境界の挙動が意図と揃います。SQL 単体では構文的に正しく動いていた点が、検出を遅らせていました。

実例 3: ON CONFLICT DO UPDATE の trigger 副作用とトランザクション abort

PostgreSQL の INSERT ... ON CONFLICT DO UPDATE を、冪等性ガードとして使っていた箇所がありました。重複 INSERT を 1 回でガードできる便利な構文で、単体テストでも期待通りに動いていました。

Codex は、テーブルに紐づいた trigger と、同一トランザクション内の後続 INSERT との相互作用を指摘してきました。ON CONFLICT DO UPDATE 経路が trigger を起動し、その trigger の挙動次第でトランザクション全体が abort される副作用があった。単一 INSERT の単位で見れば正しいのに、トランザクション全体のフロー解析まで踏み込むと別の絵が見えるパターンです。

Claude 2 名は INSERT 文単体の正しさは確認できていましたが、DO UPDATE 経由で trigger が同トランザクション内に何を引き起こすかまでの経路解析は走っていませんでした。修正は ON CONFLICT DO NOTHING + 別 SELECT で更新判定する 2 段構えに分けて、トランザクション境界を明示しています。

DO UPDATE 1 文に圧縮すると簡潔に見えますが、trigger を持つテーブルでは「DO UPDATE 経路の副作用が後続にどう波及するか」が同トランザクション内で連鎖します。SELECT で判定経路を分岐させると、副作用が起きる条件と起きない条件が境界として明示できます。

3 件に共通する構造

並べてみると、3 件は同じ構造を持っています。単体としては正しく見えるが、隣接コンポーネントとの跨ぎ整合で破綻する タイプの指摘です。部分 INDEX × 状態遷移、SQL 集約 × NULL 取り扱い、INSERT 文 × trigger × トランザクション境界。いずれも 1 箇所だけ見ていれば正しい。2 箇所同時に見ないと矛盾が出ない。

Claude 2 名は同じ LLM family なので、検査パスの組み方が似ていた可能性があります。「単体の正しさをチェックして次へ進む」流れが、両者で揃ってしまっていた。Codex は別系統のため、跨ぎ整合の経路が別の優先度で組まれていたのかもしれません。これは「Codex の方が優れている」という話ではなく、LLM family を跨ぐと検査パスが分散する という構造的な観察です。1 ファミリーで揃えると、独立セッションにしても拾えない盲点が残る、という話に近い。

3 件とも「A 単体は正しい / B 単体は正しい / A と B を同時に読むと矛盾」という同じ形をしていました。検査パスを揃えるか分散させるかは、独立性を「会話セッション」ではなく「推論機構そのもの」のレイヤで考える必要がある、という示唆です。

§4 トークン軸の実測 — 3 メソドロジーで 12 〜 30% に収束

ここから数値の話に入ります。最初に注意点として、トークン節約効果は counterfactual(仮想ベースライン)に対する推定 で、実測値ではありません。「Codex を使わなかった場合の Claude トークン消費」は同時に観測できないので、推定にしかなりようがないです。本節は「概ねこのレンジ」という幅で読んでもらえる前提で書いています。

§4-1 計測の前提

サンプルは 1 つの PR の 3 ラウンドにまたがる Claude サブエージェント 10 セッションの実測値です。各セッションの内訳の一部を抜粋します。

フェーズ tokens duration
R1 reviewer-architecture 90,678 約 7.8 分
R2 reviewer-quality 114,880 約 8.9 分
R3 reviewer-architecture 119,601 約 11.3 分
R3 reviewer-quality 110,881 約 15.9 分

10 セッション合計で 826,020 tokens、所要 約 75.5 分。これは Claude サブエージェント側だけの数値で、main conversation 分や設計フェーズの Explore agent 分は含めていません(main conversation 分は Claude 側からは可視化されず、Anthropic Console の Usage ページで後追いが必要です)。

§4-2 3 メソドロジーの要点

節約効果を 3 つの独立な方法で見積もって、レンジで収束させました。

Method A — 出力代替コスト: Codex が拾った指摘を Claude が同じ深さで出すには、PR diff + 周辺コード + migration / test を Read して推論する必要があります。5 reviewer セッション分の入力・推論・出力を積算すると、75K 〜 115K tokens の節約に相当。保守側の見積もりです。

Method B — 推論時間換算: Codex 5 セッション合計の推論時間は約 1,500 秒。Claude が同じ問題を解くときの推論時間 → トークン換算(経験則 約 20K tokens/分)で約 500K tokens 相当の推論を Codex が肩代わりした計算です。Claude にも独自観点があるため 50% 減衰して、中央推定 約 250K tokens の節約。

Method C — 仮想フル単独レビュー比較: Codex 不在で機械化観点まで全部 Claude がやる前提を置くと、reviewer の入力が 30 〜 50% 増、出力が 50% 増する想定。実測 5 セッション合計に適用すると 158K 〜 265K tokens の節約に相当。強気側の見積もりです。

3 つの方法を並べると、保守 75K、中央 250K、強気 265K で、レンジは おおむね 100K 〜 250K tokens に収束します。これは Claude サブエージェント実測 826K に対して 約 12% 〜 30% の削減レンジです。

§4-3 数値の限界と注意

このレンジには明確な前提があります。第一に、サンプルは 1 つの PR の 3 ラウンドで N は小さい。月単位の安定性は別途検証が要ります。第二に、Codex 側のトークンは OpenAI のサブスク枠で別途消費されています。「Anthropic 側が 12 〜 30% 減った」という話と「総コストが減った」という話は別物です。総コストでの比較は OpenAI 側の課金単価と消費量を含めた試算が必要で、本記事の範囲外です。第三に、main conversation 分のトークンが私の手元では可視化されておらず、Anthropic Console の Usage ページから別途追検証する必要があります。

完全な総コスト試算と月次の安定性検証は、別記事に分けて扱う予定です。本記事は「Anthropic 側の reviewer 工程を見たときに、3 メソドロジーが概ねこのレンジに収束した」という観察までで止めておきます。

§5 残った疑問と次の検証

ここまでで見えたことを整理すると、3 つです。LLM family を跨ぐとレビューの検査パスが分散して、同じ family 内の独立セッションでは拾えない指摘が出る。Claude 側の reviewer トークンは 3 メソドロジーで 12 〜 30% のレンジに収束する。Critical 級の独立検出が実例として 3 件出た。

未検証として残しているのは、月単位の安定性、OpenAI 側のトークンを含めた総コスト、Critical 検出率の長期傾向、それから別の LLM family(Gemini など)を 4 人目に加えたときの追加効果です。とくに 4 人目以降は「足し続ければ良いか」の判断軸が現状ありません。3 人目までで何が変わったかは見えましたが、4 人目を入れたときに観点が増えるのか、それとも独立性が薄まる方向に出るのかは、まだ手を動かしていません。

構造的に再利用できそうな最小セットは 3 点で、AGENTS.md のグローバル symlink、Task ツールでの並列起動、frontmatter codex-status の機械的記録です。この 3 つは、別のリポジトリや別の構成(reviewer を 2 名から 3 名に増やすなど)でもそのまま転用できる骨組みです。逆にいうと、この 3 つさえ揃えれば、レビュアーの数や担当観点は後から動かせます。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?