
ChatGPT派かClaude派かでは足りない。AIの実力をモデルと実行系の組み合わせで測る
「自分はChatGPT派」「Claude派」「Gemini派」。生成AIの話をしていると、使っている製品やモデルが、その人の立場のように語られることがあります。もちろん、どのAIを使うかで結果は変わります。推論、コーディング、速度、長い文脈への強さ、ツール利用、価格には実際に差があります。
ただ、私は「何派か」と「どのモデルを選ぶか」は分けて考えた方がよいと思っています。どのモデル派かは、かなりどうでもいい。どのモデルを使うかは、どうでもよくない。
違いは、選択の根拠です。その仕事に必要な能力を満たし、品質、速度、安全性、総コストまで含めて最もよく終わる構成を選べているか。この記事では、モデルを仕事として動かすための周辺設計まで含めた構成を、便宜上「AI実行系」と呼びます。具体的には、コンテキスト、ツール、状態、権限、評価、復旧、人間の承認までを含みます。
この記事で考えたいのは、ChatGPTとClaudeの勝敗ではありません。モデル単体のランキングから一度離れ、自分の仕事を完遂するAI実行系をどう測り、どう更新するかです。
どのモデル派かとどのモデルを使うかは別の話
まず、普段ひとまとめにしている三つを分けます。
一つ目は基盤モデルです。GPTやClaude、Geminiなど、推論や生成そのものを担う部分です。二つ目は製品です。ChatGPTやClaudeのアプリのように、モデルへ検索、ファイル、メモリ、コネクタなどを組み合わせた利用環境を指します。コーディング環境や音声、権限管理まで含まれる製品もあります。
そして三つ目が、この記事でいうAI実行系です。どのモデルや製品を使うかに加えて、何を読ませ、どのツールを使わせるかを決めます。途中状態の保存先、操作できる範囲、完了条件、失敗時の戻し方まで含めた仕事の構成です。

この区別をすると、「ChatGPTを選ぶ」という判断がブランド信仰とは限らないことも見えてきます。仮にモデル単体では別の選択肢が少し強くても、検索やファイル処理、コーディング、共有まで一つの環境でつながるなら、人間の手作業を減らせます。その結果、製品としてChatGPTを選ぶ方が合理的な仕事もあります。ClaudeでもGeminiでも同じです。
逆に、既にIDEや社内データ基盤、独自の評価環境が整っている組織なら、製品全体よりAPIで使うモデルの性能と価格を直接比較した方がよいかもしれません。
問題は、そこから「このブランドを使っている人の方がAIに詳しい」「この製品を選べば仕事でも強い」と飛躍することです。製品名だけでは、どんな仕事を、どんな情報と権限で、どんな完成条件に向けて動かしているかが分かりません。
だから比較の問いを変えます。
「どのAIが一番強いか」ではなく、**「この仕事では、どの構成が最もよく終わるか」**です。
研究が示しているのはハーネスの勝利ではなくモデルだけでは測れないこと
この見方を考えるうえで興味深いのが、2026年5月に公開されたHarness-Benchです。研究では106のサンドボックス化されたタスクを使い、6種類の設定可能なハーネスと8種類のAPIモデルを組み合わせ、Codexの既定構成を含む5,194件の実行軌跡を分析しています。
ハーネスとは、モデルの外側で仕事の進め方を支える仕組みです。プロンプトの形式、コンテキストの作り方、ツールの呼び方、作業空間、権限、予算、ログ、エラーからの復旧などが含まれます。
Harness-Benchが示したのは、同じモデル名でも、どのハーネスで動かすかによって完了率、効率、処理の質、失敗の仕方が変わることでした。研究者は、エージェントの能力を基盤モデルだけへ帰属させず、モデルとハーネスの組み合わせとして扱うべきだと述べています。

ここだけ読むと、「やはりモデルよりハーネスが重要だ」と言いたくなります。私自身も、元の問題意識はそちらに近いものでした。ただ、研究を突き合わせると、その言い方も強すぎます。
Harness-Benchは、完成したハーネス構成同士を比較した記述的な測定です。どの一つの機構が、何ポイントの改善を因果的に生んだかを切り分けた研究ではありません。さらに、より強いモデルほどハーネス間の差が小さくなる傾向も観測されています。
つまり、「ハーネスがモデルに勝った」という研究ではない。モデルだけを見てエージェント性能を説明するのが不十分だったという研究です。
別のプレプリントThe Scaffold Effect in Coding Agentsも、この注意をよく表しています。同じモデルを異なるコーディングハーネスで動かしたところ、成功したタスク一件当たりのトークン消費には最大40倍の差が観測されました。一方、同一モデル内の成功率差は0から8ポイント程度で、多くの95%信頼区間はゼロを含んでいます。
この結果は、能力と効率を分けて読む必要があることを示します。ハーネスを変えれば何でも劇的に解けるわけではありません。それでも、同じ程度の成果へ到達するまでのトークン、時間、再試行、人間の監督負荷が変われば、仕事の原価は変わります。
さらに、モデル、コンテキスト、ハーネス、ツールは完全に独立した部品でもありません。ハーネスが必要なファイルだけを検索して読ませれば、同時にコンテキストの質が変わります。ツールの結果をどう整形してモデルへ返すかもコンテキストです。失敗時に再試行するのか、人間へ戻すのかはハーネスと評価の両方に関係します。
だから、モデル70点、コンテキスト80点、ハーネス90点というように単独で点を付け、掛け合わせれば成果が出るわけではありません。あるモデルには有効な補助が、別のモデルでは邪魔になることもある。見るべきなのは、部品の優劣ではなく、その組み合わせで仕事がどう変わったかです。
AIを仕事にするには何を見せるかと何をさせるかを分けて考える
では、コンテキストとハーネスはどう違うのでしょうか。
コンテキストは、モデルがその瞬間に何を見るかの設計です。Anthropicはcontext engineeringを、推論時にモデルへ入る情報を選び、維持するための戦略として説明しています。システム指示、ツールの説明、外部データ、メッセージ履歴などが対象です。
仕事が長くなると、正式資料、過去の判断、途中成果物、ツール出力、エラー、会話履歴が増えます。全部をモデルへ押し込めばよいわけではありません。古い前提と新しい前提が混ざり、必要な証拠が埋もれれば、情報量が多いほど判断しにくくなることもあります。

私は、コンテキストを「長い記憶を持てるか」という問題だけにしない方がよいと考えています。今の判断に必要な情報と、長期保存する正式状態を分ける。判断履歴や成果物は必要ならファイルやデータベースへ外出しし、次の実行時に必要なものだけ戻す。その方が、長い仕事では扱いやすくなります。
一方、ハーネスは「何を見せるか」からさらに外へ広がります。どのツールを呼べるか、どのファイルを変更できるか、どこに進捗を残すか、どの操作で承認が必要か、予算を超えたら止まるか、失敗したら戻せるか。モデルの判断を現実の仕事へ変える仕組みです。
GoogleはGemini CLIのHooksを、コンテキスト注入や操作の検証、ポリシー適用、ログ記録などを実行ループへ差し込む仕組みとして説明しています。Conductorでは、チャット履歴だけに頼らず、仕様や計画を永続的なMarkdownとして残します。実装後に計画との整合や品質を確認する考え方も示しています。
Anthropicも長時間エージェントについて、強いコーディングモデルであっても、高レベルの指示だけで複数のコンテキストウィンドウをまたぐと、途中状態を見失ったり、同じ作業をやり直したりすると報告しています。対策として出てくるのは、さらに長いプロンプトを書くことだけではありません。進捗を小さく残す、成果物を永続化する、次のセッションへ引き継ぐ、といった外側の設計です。
ここまで来ると、プロンプトの位置づけも見えやすくなります。プロンプトの価値は消えません。ただし、実行系の一部です。
「本番データを消さない」と文章で頼むことと、本番への書き込み権限を最初から与えないことは同じではありません。重要な制約ほど、お願いの文章から、権限、テスト、サンドボックス、承認、停止条件へ移した方が強くなります。

強いモデルはハーネスを減らせるがモデル差が消えるわけではない
ハーネスが重要だと分かると、次に起きやすいのが「もっと仕組みを足そう」です。ルール、スキル、MCP、メモリ、サブエージェント、フック、レビュー、再試行。役に立つものは多いのですが、増やすこと自体を品質とみなすと逆方向へ進みます。
モデルが弱かった時代に必要だった細かな補助が、モデル進化によって不要になることがあるからです。AnthropicはManaged Agentsの設計で、旧モデル向けに入れていたコンテキストリセットが、より強いモデルでは不要になり、余計な重りになった例を紹介しています。
Harness-Benchの「強いモデルほどハーネス差が小さくなる可能性」という結果も、同じ方向を示しています。モデル能力が上がると、細かな手順や状態管理の違いをモデル自身が吸収できる場面が出てきます。
だから私は、ハーネスを「一度作れば積み上げ続ける資産」とは見ません。新しい層を足すなら、何を改善するためなのかを決める。同じ仕事、同じモデル、同じ評価で差が出るかを見る。モデルが更新されたら、以前の補助を外しても品質が落ちないかを再確認する。
OpenAIのエージェント設計ガイドも、まず単一エージェントの能力を最大限使う考え方を示しています。複雑なマルチエージェントへ進むのは、必要になってからです。複雑性には説明できる利益が必要です。
ハーネスを安全に簡素化する具体的な手順は、現行版の保存、観測、最小版との比較という流れで別記事に整理しています。
ただし、ここから「なら強いモデルを使えば、ハーネスもモデル選択もどうでもよい」とはなりません。
モデル差が表れやすいのは、問題そのものが曖昧な仕事です。調査では、何を調べるべきかの分解から必要になることがあります。未知の不具合原因の推定、長い因果関係を保った設計、矛盾する証拠の統合、新しい案の発明、正解を機械的に判定しにくい編集でも、モデルの推論能力が結果を大きく左右します。
反対に、入力と出力が明確で、成功条件を外から確かめられる仕事は交換しやすい。定型抽出、形式変換、分類、既存テストに守られた小さなコード修正などです。
判断の分かれ目になるのが、AIの答えとは独立した判定手段があるかです。テスト、計算、スキーマ、既知の正解データがあれば、少し弱いモデルへ替えても失敗を検知しやすい。一方、事業戦略や研究仮説、重要な文章編集のように評価器そのものが弱い仕事では、モデル能力を落とした影響を見逃しやすくなります。

「モデルは何でもいい」が成立するかどうかは、モデル名ではなく仕事側の構造で変わります。私はこれを能力閾値という実務上の目安で考えます。まず必要品質を満たす候補を作り、その中で費用、速度、安定性を比べる。科学的な法則ではありませんが、モデル選定をかなり落ち着かせてくれます。
価格表より成功した仕事一件の原価を見る
モデル比較で最も分かりやすい数字は、100万トークン当たりの価格です。しかし、その数字だけで業務コストを比べると判断を誤ります。
安いモデルでも、何度も失敗し、人間が長く直し、再試行を繰り返すなら、成功一件の原価は高くなるかもしれません。高いモデルでも、一度で合格し、人間確認が短く済めば、総コストは下がることがあります。
見るべきなのは、モデル利用料だけではありません。検索やツールの利用料、再試行、処理時間、人間の修正時間、インフラ、失敗時の損失まで含めて、合格した仕事一件に何を使ったかです。
トークン単価そのものにも落とし穴があります。AnthropicはClaude Sonnet 5の新しいトークナイザーについて、同じ入力テキストでもSonnet 4.6より約30%多いトークンになると説明しています。1トークンの単価が下がっても、同じ文章を処理するトークン数が変われば、実際のリクエスト費用は単価比と一致しません。
価格も固定ではありません。OpenAIがGPT-5.6を一般提供した2026年7月9日の公式発表では、SolはAPI入力100万トークン5ドル、出力30ドルでした。8月21日の価格改定後、短いコンテキストの標準料金は、Solが入力4ドル・出力20ドル、Terraが2ドル・12ドル、Lunaが0.20ドル・1.20ドルになっています。
数週間で価格の前提が変わったこと自体が示唆的です。モデル名に長期の経済性を結び付けると、すぐ古くなります。

定額サービスはさらに違います。月額の範囲で使うなら、追加一回の限界費用は見えにくい。見るべきなのは、一週間に何件の仕事を終えられたか、人間作業が何時間減ったか、上限に達して別経路へ逃げた回数は何回か、といった仕事側の数字になります。
ローカルモデルも「API代がゼロだから無料」ではありません。ハードウェア、電力、保守、セットアップ、保存容量、待ち時間、運用者の時間があります。その代わり、プライバシー、オフライン利用、大量処理での限界費用など別の価値がある。
企業では、人間のレビュー時間がモデル料金より大きいことも珍しくありません。API差額を月数万円削っても、毎回二人が30分確認する工程が残るなら、総コストはほとんど下がらないかもしれない。逆に、モデル単価が上がっても人間確認が半分になるなら、全体では安くなる可能性があります。
AIコストは請求書ではなく、仕事の原価として見た方がよい。私はこの考え方の方が、API、定額サービス、ローカルモデルを同じ土俵で比較しやすいと思います。
正しい出力だけでは安全な仕事とは言えない
もう一つ、モデル比較に加えたいのが実行経路の安全性です。
AIエージェントが最後に正しい答えを出したとしても、途中で何をしたかが安全とは限りません。2026年のHarnessAuditは、最終成果が正しくても、実行中に許可されていない資源へアクセスしたり、不適切な情報移送が起きたりする可能性を扱っています。
最終出力だけを採点すると、途中の危険な行動が見えない。これは、AIが文章を返すだけの時代より、ツールを使って現実の操作を行う時代に重要になります。

例えば請求先マスタを更新するAIを考えます。最後に出てきたCSVが正しければ合格、では足りません。本来読めない顧客情報を途中で参照していないか。対象外のレコードへ触れていないか。外部送信の前に承認が入ったか。異常件数が増えたときに止まったか。誤更新した場合に戻せるか。
ここは、モデルに「気を付けて」と頼むだけでは弱い部分です。モデルが高性能でも、広すぎる権限を最初から持たせれば事故の上限は大きい。読み取り専用から始め、提案、承認付き実行、限定的な自動実行へと権限を広げれば、失敗の影響範囲を小さくできます。
OpenAIのエージェント設計ガイドも、複数の防御を重ねる考え方を示しています。入力チェックやルール、モデルによる判定、ツール制約、人間への引き渡しなどを組み合わせます。
モデル比較の単位を「成功した仕事一件」まで広げても、まだ足りない場合がある。高リスク業務では、安全に成功した仕事一件まで見る必要があります。
モデル非依存は目的ではなく保険として持つ
ここまでの話をすると、「ならモデルをいつでも交換できるように、完全にモデル非依存で作ればよい」と考えたくなります。交換可能性は確かに価値があります。モデル更新や価格変更があっても比較し直しやすく、障害時の代替経路も作りやすいからです。
ただ、完全なモデル非依存を目的にすると、別の無駄が生まれます。
各プロバイダーには、ツール呼び出し、推論設定、キャッシュ、構造化出力、検索、マルチモーダル、コンテキスト処理など固有の機能があります。全部を共通APIの最小公倍数へ押し込めれば、交換はしやすくなっても、強みを捨てるかもしれません。
だから私なら、共通化するものと固有最適化するものを分けます。
共通化するのは、仕事の目的、入力、完成条件、評価方法、権限境界、ログ、失敗時の戻し方です。これらは「どのモデルを使うか」より上位の仕事契約として持つ。そのうえで、特定モデルの長文処理、推論設定、検索、ツール利用など、実測で利益がある部分はモデル固有のアダプターとして使います。

記事制作なら、元資料、中心命題、必須の根拠、完成条件、出典の扱いは共通契約にできます。そのうえで、あるモデルには長文読解を一度に任せ、別のモデルでは検索やツール利用に合わせて仕事を分ける。コード開発なら、テストと受入条件は共通にしながら、モデル固有の推論設定やツール呼び出しを使い分ける。
この設計なら、乗り換えのたびに業務定義まで作り直さずに済みます。同時に「どのモデルでも同じ使い方しかできない」という最小公倍数にも閉じません。
モデル非依存は信仰ではなく、選び直せるための保険として持つ。そのうえで固有機能は、成果が測れる場所で使う。私はこのくらいの距離感が現実的だと思います。
比較はランキングではなく自分の仕事を二十から五十件集めて行う
では、明日から何を変えればよいのでしょうか。
SNSの総合ランキングを見る前に、自分の仕事から20から50件ほど評価セットを作る。私はここから始めるのがよいと考えています。大量のベンチマークを作る必要はありません。普段よく発生し、失敗の種類が異なる仕事を集めます。
最初に決めるのは「良い回答」ではなく完成条件です。
調査なら、重要主張に一次情報が付いている、反証が含まれる、存在しない引用がない。コーディングなら、テストを通る、変更範囲を守る、既存機能を壊さない。記事制作なら、中心命題を保持する、重要素材を落とさない、出典と主張が対応する、といった条件です。
そのうえで、モデル以外の構成も比較します。同じモデルでハーネスを変える。ハーネスを固定してモデルを変える。必要なら製品全体を変える。一度に複数の条件を変えすぎない方が、改善の原因を切り分けやすくなります。

見る指標も、正答率だけでは足りません。
完了率、再試行回数、総トークン、処理時間、人間修正時間、安全上の違反、失敗の種類まで残します。平均点と同じくらい、「どんな失敗をしたか」を残します。
ある構成は95%の仕事を高速に終える一方、残り5%で重大な権限逸脱を起こすかもしれません。別の構成は少し遅くても、失敗を自分で検知して人間へ戻せるかもしれない。高リスク業務なら後者の方が価値があります。
さらに、この評価セットはモデル選定のためだけに使いません。モデルや製品が更新されたら同じ評価を回し、回帰を見るためにも使います。以前は守れていた出力形式が崩れていないか。ツール選択が変わっていないか。長い指示が新モデルでは逆に邪魔になっていないか。
新しいモデルが強くなったなら、評価すべきなのは「何を足せるか」だけではありません。何を削っても大丈夫になったかも見る。ここまでやると、評価セットはモデルランキング表ではなく、AI実行系を更新するための回帰テストになります。
モデルを交換できる仕事の作り方と、AI投資を仕事単位で測る考え方は、こちらの記事でさらに詳しく整理しています。
AI活用能力は好きなモデルを語る力より構成を更新できる力で見る
ここまで来ると、人や組織のAI活用能力も、少し違って見えてきます。
最新モデルを知っている。プロンプトが上手い。複数のAI製品を使っている。もちろん役に立つ能力です。ただ、それだけでは長く使える実務能力を説明しきれません。
私なら、まず仕事を定義できるかを見ます。何を達成すれば終わりなのか。失敗したら何が困るのか。次に、AIへ必要な情報を選び、正式状態と一時的な会話を分けられるかを見る。そこから、ツール、権限、ログ、承認、停止、復旧を設計し、結果を評価して、失敗を次のテストやルールへ戻せるかを見ます。

この見方の利点は、うまくいかなかったときに直す場所が分かることです。
出力品質が悪いからといって、すぐモデルを替える必要はありません。必要な情報が足りないならコンテキストの問題かもしれない。情報は十分なのに誤操作するならツールや権限を疑う。品質は高いのに高コストなら、コンテキスト量、再試行、モデルサイズを見直す。事故はないが毎回人間が大量修正しているなら、完成条件や評価方法が弱い可能性があります。
反対に、モデルを替えるべき場面も見えます。十分な情報と明確なツールを与え、評価方法も整えたのに、複雑な推論や計画で同じ失敗が続くなら、モデル能力がボトルネックかもしれません。
ここまで切り分けて初めて、「このモデルはこの仕事に足りない」という判断に根拠が生まれます。モデル派閥をやめるというより、モデルへの評価を雑にしないための設計です。
結論として、私はこう考えています。
必要な能力水準を満たすモデルであれば、ブランドそのものへのこだわりはかなり小さくできる。けれど、モデル選択を軽視してよいわけではない。自分の仕事を、どの情報、ツール、権限、評価、復旧の仕組みの中で動かすと、最も高い品質、速度、安全性、費用対効果で終えられるかを測るべきです。
モデルが強くなれば、古いハーネスを削れることがあります。モデルが安くなれば、今まで使えなかった工程へ広げられるかもしれません。製品が統合されれば、人間の手作業が減ることもある。条件が変われば、最適な構成も変わります。
だから、モデル比較の結論を固定しない。仕事と完成条件を固定して、構成を比較する。最高性能モデルで基準を作り、必要品質を満たす範囲だけ小型、安価、ローカル、専門モデルへ置き換える。モデルが更新されたら、足すだけでなく削って再評価する。

企業でこの考え方を、研修から業務設計、AIエージェント開発、評価、改善運用まで一続きで実装したい場合は、支援内容をこちらにまとめています。
「何のモデルを使っているか」より、「どんな仕事を任せ、どう測り、どこをAIへ任せ、失敗からどう更新しているか」。AI活用能力を見るなら、私はこの差を重く見ます。
出典・参考資料
Yilun Yao et al. Harness-Bench: Measuring Harness Effects across Models in Realistic Agent Workflows, 2026. https://arxiv.org/abs/2605.27922
Naman Vats, Oleg Golev. The Scaffold Effect in Coding Agents: Harness Choice as a Hidden Variable in Coding-Agent Evaluation, 2026. https://arxiv.org/abs/2607.22585
Anthropic. Scaling Managed Agents: Decoupling the brain from the hands. https://www.anthropic.com/engineering/managed-agents
Anthropic. Effective context engineering for AI agents. https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents
Anthropic. Effective harnesses for long-running agents. https://www.anthropic.com/engineering/effective-harnesses-for-long-running-agents
Google Developers Blog. Tailor Gemini CLI to your workflow with hooks. https://developers.googleblog.com/tailor-gemini-cli-to-your-workflow-with-hooks/
Google Developers Blog. Conductor: Introducing context-driven development for Gemini CLI. https://developers.googleblog.com/conductor-introducing-context-driven-development-for-gemini-cli/
Google Developers Blog. Conductor Update: Introducing Automated Reviews. https://developers.googleblog.com/conductor-update-introducing-automated-reviews/
OpenAI. A practical guide to building agents. https://cdn.openai.com/business-guides-and-resources/a-practical-guide-to-building-agents.pdf
OpenAI. GPT-5.6: Frontier intelligence that scales with your ambition. https://openai.com/index/gpt-5-6/
OpenAI. API Pricing. https://developers.openai.com/api/docs/pricing
Anthropic. Migration guide. https://platform.claude.com/docs/en/about-claude/models/migration-guide
Chengzhi Liu et al. Auditing Agent Harness Safety, 2026. https://arxiv.org/abs/2605.14271
※モデル名、料金、提供条件は変更されるため、実際の利用判断では各公式ページの最新情報を確認してください。