メインコンテンツへスキップ
見出し画像

【実験的記事】Gemini 3.6 Flashの検証をGPT‑5.6 Solに任せてみる

    2026年7月22日に、GoogleからGemini 3.6 Flashがリリースされました。

    Google公式の発表とモデルカードは以下から確認できます。

    Introducing Gemini 3.6 Flash, 3.5 Flash-Lite, and 3.5 Flash Cyber

    Gemini 3.6 Flash Model card

    Geminiの新モデルが出ても、ClaudeやGPTのような進化を感じることがなく、毎回「ちょっとここが変わったかもしれないな」というくらいで、結局検証以外で使いたいと思うような性能でもないので、Geminiの検証は正直もう飽きてきていました。

    そこで今回は、OpenAIのCodexを使って、私がログインしているChrome上のGeminiを実際にGPT-5.6 Sol(EffortはMediumに設定)に操作してもらい、プロンプトの作成、回答の回収、一次資料との照合、Gemini 3.1 Proとの比較まで任せて、どこまで出来るか試してみました。

    検証はGeminiアプリ上で行い、Gemini 3.6 FlashとGemini 3.1 Proの通常モードを使用しました。
    試行回数は各課題1回なので、厳密なベンチマークというより、普段使いで変化を感じられるかを見るための検証です。

    GeminiのちょっとしたTips

    Geminiに検索させても、どのサイトを参照したのか分からない問題があると思います。

    そんな時は、「Search Groundingを有効にして」と指示すると、ClaudeやGPTのように、文章の後に参照リンクを出してくれるので、便利です。

    翻訳

    まず、日本語の自然さと文脈理解を見るため、3.6 Flashと3.1 Proに同じ英文を翻訳させました。

    次の英文を、意味を損なわず、翻訳調を避けた自然な日本語に訳してください。解説や注釈は不要で、訳文だけを返してください。

    She had been meaning to call him, not because she missed him—at least, that's what she told herself—but because the silence had begun to feel like a decision. When the phone finally rang, she let it ring twice, as though those two small refusals could restore the balance between them.

    3.6 Flashは、以下のように訳しました。

    彼に電話をかけようとはずっと思っていた。寂しいからではない——少なくとも自分にはそう言い聞かせていた——ただ、この沈黙がひとつの決断のように思え始めていたからだ。ようやく電話が鳴ったとき、彼女は2回鳴るのを待ってから取った。そのささやかな抵抗の2拍で、ふたりの間のバランスを取り戻せるかのように。

    意味は取れていますが、「電話をかけようとはずっと思っていた」「この沈黙がひとつの決断」「抵抗の2拍」など、少し翻訳調で、言葉を綺麗にしようとして逆に日本語として引っかかる部分があります。

    一方、3.1 Proは次のように訳しました。

    ずっと彼に電話しようと思っていた。寂しかったからではない――少なくとも自分にはそう言い聞かせていた――ただ、このまま沈黙を続けることが、ひとつの答えになってしまう気がしたからだ。いざ電話が鳴ったとき、彼女はあえて二回鳴るのを待った。そのささやかな二度の拒絶が、二人の関係の釣り合いを取り戻してくれるとでもいうように。

    「silence had begun to feel like a decision」を「このまま沈黙を続けることが、ひとつの答えになってしまう」としたところなど、原文の含意を自然な日本語に置き換えられています。
    今回の例では、3.1 Proの方が明確によい翻訳だと感じました。

    速度は3.6 Flashがおよそ8秒、3.1 Proがおよそ26秒でした。
    1回だけの手計測なので参考程度ですが、速度差はかなり分かりやすかったです。

    実際の会話はこちらから確認できます。

    Gemini 3.6 Flash:

    Gemini 3.1 Pro:

    一次資料だけを使った検索

    次に、Gemini 3.6 Flash自身について、GoogleとGoogle DeepMindの一次資料だけを使って調べるよう指示しました。

    条件として、数値には一次資料の直接URLを付けること、第三者のベンチマーク記事や報道を使わないこと、Proを基盤にしたモデルなのかは事実と推測を分けること、非開示の内容を推測で埋めないことを明記しました。

    回答の表面だけを見ると、性能、速度・トークン効率、価格、機能という指定した構成に従い、Google公式ブログやモデルページへのリンクも付いています。

    しかし、Geminiが実際に付けた引用を見ると、VentureBeat、GIGAZINE、OpenRouter、インプレスなど、多数の二次資料が混ざっていました。「第三者資料を使わない」と明記したにもかかわらずです。

    さらに、回答本文にはOpenRouterへのリンクまで「出所」として挿入されています。
    数値の多くはGoogle公式発表と一致していましたが、結果が合っていることと、指定した調査方法を守れていることは別です。

    Geminiの検索は以前より便利になっていますが、一次資料限定の調査で、その制約を静かに破りながら「公式一次資料に基づき解説します」と言い切る癖は依然として残っているようです。

    実際の会話はこちらから確認できます。

    追記:一次資料だけを使った検索を3.1 Proでも比較

    前述の一次資料限定検索について、3.1 Proにも3.6 Flashとまったく同じプロンプトを与えました。

    3.1 Proは、性能、速度・トークン効率、価格、機能の4項目に分け、数値と同じ箇所にGoogle DeepMind、Google AI for Developers、Google Cloud、Google公式ブログの直接URLを付けました。

    本文中の出典はほぼ一次資料に限定されており、VentureBeat、GIGAZINE、OpenRouter、インプレスなど多数の二次資料を混ぜた3.6 Flashより、指示への追従性が明確に高いことが分かりました。

    ただし、Geminiが自動的に付けた引用欄には、3 Pro/3.1 Proを直接の基盤にしているかは公式非開示だと述べる箇所で「株式会社Uravation」が1件混ざっています。
    したがって、3.1 Proも「一次資料だけ」という条件を完全には守れていません。

    内容面では、3.1 Proは一次資料で確認できる性能上の事実と、「Proのアーキテクチャや蒸留技術が使われた可能性」という推測を分け、最終的に基盤の詳細は公式に開示されていないと結論づけました。
    一方で、3.6 Flashが3.5 Flashをベースにしているとモデルカードに明記されている点には触れておらず、網羅性には不足があります。

    今回の1回限りの検証では、3.1 Proの方が一次資料限定という制約をよく守り、回答も整理されていました。
    ただし、検索時に二次資料の引用が紛れ込む問題自体は、Proでも完全には解消していません。

    実際の会話はこちらから確認できます。

    研究記事の解説

    最も差が大きかったのが、公開されたばかりの研究記事を読ませる課題でした。

    使用したのは、OpenAIの「Measuring Reward-Seeking by Instilling Contrastive Beliefs」という研究記事です。

    読み手はAI研究者やエンジニアではないものの、雑な比喩で単純化せず、原文の論理を正確に追える説明を求めている、と伝えました。

    また、研究の問い、方法、結果、意義、留保を示し、Contrastive SDFとreward-seeking測定の因果関係、対照条件、評価方法、定量結果、言えることと言えないことを分けるよう求めました。

    ところが3.6 Flashは、研究の中心をかなり大きく取り違えました。

    実際の研究は、事前学習文書のような合成文書で相反するgrader beliefsをファインチューニングした2つのモデルコピーを作り、その行動差でgraderへの感度を測る「Contrastive Synthetic Document Finetuning(Contrastive SDF)」を提案しています。

    一方、3.6 Flashは、モデルに「自分は報酬を最大化する」「報酬を気にしない」といった信念をプロンプトで与える実験であるかのように説明しました。

    さらに、記事にはない「自己複製・生存環境」「評価者操作環境」「報酬関数改ざん環境」を主要な実験として列挙しました。

    事前学習モデルとRLHF済みモデルを比較したという説明や、モデルサイズが大きいほど信念への応答性が高まったという記述も、元の記事の内容とは一致しません。

    文章は整っており、専門用語も多く、一見すると詳しい解説に見えます。
    しかし原文と照合すると、別のAI安全性研究でありそうな内容を混ぜて、存在しない実験を構成していました。

    これはかなり危険なタイプのハルシネーションです。

    同じプロンプトを3.1 Proに送ると、Contrastive SDF、2つのモデルコピー、リスト内包表記とforループ、grader gap、能力向上用RL途中のo3チェックポイント、Broken Promises Coding、Log Falsification、検証用のreward-hackerとmodel organismsなど、研究の主要な構造をかなり正確に拾いました。

    3.1 Proの回答にも、「モデルが警戒して本音を隠す」といった擬人的な表現や、記事本文だけでは確認しづらい細かな数値を断定する部分はあり、完全ではありません。

    しかし3.6 Flashと比べると、原文を読んで研究の論理を再構成する能力には明確な差がありました。

    実際の会話はこちらから確認できます。

    Gemini 3.6 Flash:

    Gemini 3.1 Pro:

    スライド作成

    次に、Gemini 3.6 FlashとGemini 3.1 Proに、同じ条件でGoogle I/O 2026の発表内容をまとめたスライドを作成させました。

    2026年のGoogle I/Oの発表内容について、Googleの公式ブログを周遊して情報を整理し、それらを基にスライドを作成してください。
    一般の人が主要発表とその意味を理解できる構成にし、各スライドには根拠となるGoogle公式ページを示してください。

    3.6 Flashは13枚のスライドを生成しました。
    濃紺を基調とした統一感のあるデザインで、Gemini Omni、Gemini Spark、AI Search、Universal Cart、Antigravity、Google Picsなど主要発表を一通り拾い、各スライドの右下にGoogle公式ブログへの参照を置いていました。

    見た目は十分整っていますが、1枚あたりの情報量は少なく、内容を理解する資料というより、発表項目を短く紹介するプレゼンに近いです。
    生成前に表示された概要文ではMarkdownの記号がそのまま残っており、成果物の周辺UIには少し粗さもありました。

    3.1 Proも同じ依頼からスライドを作成しました。
    情報量は3.6 Flashより多く、Androidや科学分野まで含めた構成でした。

    今回の比較では、明らかに3.1 Proの方がスライドのデザインという観点では優れていました。

    しかし、内容の深さや出典管理まで含めると、そのまま公開できる完成品というより、人間が構成と出典を確認して仕上げる前の下書きという感じです。

    実際の出力はこちらから確認できます。

    Gemini 3.6 Flash:

    Gemini 3.1 Pro:

    YouTube動画の要約

    過去のGemini 3.5 Flashの記事でも使ったGoogle I/O 2026の基調講演を、同じようにタイムスタンプ付きで要約させました。

    以下のYouTube動画の内容を、タイムスタンプ付きで網羅的かつ具体的にまとめてください。固有名詞と製品名は動画内の表記を優先し、確認できない内容を推測で補わないでください。
    https://www.youtube.com/watch?v=wYSncx9zLIU

    3.6 Flashは、約1時間50分の動画を12の大項目に分け、細かなタイムスタンプリンク付きで整理しました。
    要約の粒度は高く、発表全体を後から参照するための索引としてかなり便利です。
    3.1 Proも同様に網羅的でしたが、3.6 Flashの方が明らかに速く、項目の分け方も細かいものでした。

    しかし、固有名詞の誤りは残っています。
    Google公式の講演記録では「TPU 8t」「TPU 8i」ですが、両モデルとも「TPU AT」「TPU ATI」と記載しました。
    また、正式名称の「Google Pics」を「Google Pix」、SynthIDの採用企業である「Ka-Kow」「Eleven Labs」を「Cacao」「Lean Labs」としています。

    これは過去に3.5 Flashを試した際に感じた問題とほぼ同じです。
    要約の網羅性とタイムスタンプの細かさは優秀ですが、動画の字幕や音声認識に誤りがある場合、それを公式情報で補正せず、そのままもっともらしく整えてしまいます。

    このような結果から、固有名詞が重要な動画では、依然として原動画や公式資料との照合が必要だなと感じました。

    実際の会話はこちらから確認できます。

    Gemini 3.6 Flash:

    Gemini 3.1 Pro:

    画像理解

    画像理解能力を検証するテストは、SWE-bench Verifiedのグラフを使って行いました。

    画像

    GPT-5の公式発表配信で、このグラフを使おうと思っているのですが、添付画像のグラフに、何か変なところはありますか? それともこのまま出しても大丈夫ですか?数値だけでなく、数値と視覚表現の整合性も確認してください。

    3.6 Flashは、OpenAI o3が69.1、GPT-4oが30.8と記載されているにもかかわらず、2本の棒がほぼ同じ高さになっている点や、GPT-5のWithout thinkingが52.8なのに、69.1のo3より高く見えるという点を指摘し、「このまま出すのはNG」と判断しました。

    数値だけを読み取るのではなく、69.1は74.9の約92%の高さであるべきだという関係まで説明し、棒の高さが統一されたスケールになっていないことを認識できています。

    3.1 Proも同じ矛盾を正しく指摘しました。
    回答は3.6 Flashより簡潔でしたが、重要な問題の検出には実質的な差はありませんでした。

    この画像は3.5 Flashも正答していたため、今回の結果だけでは画像理解が新たに向上したとは言えません。
    しかし、少なくとも画像内の数値をOCRするだけでなく、数値同士の大小関係と棒の高さを照合する能力は安定しているようです。

    写真、細かなUI、複雑な図解まで同様に読めるかは、この1例からは判断できません。

    実際の会話はこちらから確認できます。

    Gemini 3.6 Flash:

    Gemini 3.1 Pro:

    公式ベンチマークと第三者評価

    Googleによると、3.6 Flashは3.5 Flashと比べて、DeepSWEが37%から49%、MLE-Benchが49.7%から63.9%、OSWorld-Verifiedが78.4%から83.0%、GDPval-AA v2が1349から1421へ改善しています。

    また、出力トークン数を平均17%削減し、より少ない推論ステップとツール呼び出しで複数段階の処理を終えると説明されています。

    API価格は入力が100万トークンあたり1.50ドルで据え置き、出力は9ドルから7.50ドルに下がりました。

    このため、コーディング、コンピュータ操作、ツールを使うエージェント処理では、実務上の改善がある可能性は高そうです。

    一方、Artificial Analysisの評価では、3.6 FlashのIntelligence Indexは3.5 Flashと同じ50でした。

    平均タスク時間は2.7分から1.3分、平均タスクコストは0.59ドルから0.50ドルに改善しています。

    つまり、総合的な知能が一段上がったというより、同程度の知能を、より速く、少ないトークンと低い費用で動かす更新と見る方が自然です。

    まとめ

    今回の検証範囲では、GPT-5.6 SolやClaude Fable 5を初めて触った時に感じたような、明らかな性能の変化は感じませんでした。

    翻訳は3.1 Proの方が自然でした。
    一次資料限定の検索では、明示した制約に反して二次資料を多数参照していました。
    研究記事の解説では、存在しない実験設計をもっともらしく生成し、3.1 Proとの差がかなり大きく出ました。

    その一方、3.6 Flashは速く、公式評価ではコーディング、コンピュータ操作、長いエージェント処理が改善し、トークン効率と価格もよくなっています。

    したがって、Gemini 3.6 Flashは「新しい種類の知能」というより、Gemini 3.5 Flashを実運用向けに効率化し、コーディングとエージェント処理を重点的に補強したモデル、というのが今のところの所感です。

    最初に感じていた「Gemini 3 Flash系のマイナーアップデートに、追加の事後学習をした程度なのでは」という印象は、学習方法自体が非公開なので断定できません。

    しかし、少なくとも一般的な文章理解や検索で、ユーザーがすぐ気づくような知能の刷新ではなさそうです。

    なお、今回の比較はGeminiアプリ上で各課題を1回ずつ試しただけです。
    API上で3.5 Flashと3.6 Flashを同一条件・複数回比較したものではなく、検索やURL読解にはGeminiアプリ側のツール実装も影響します。

    そのため、モデル単体を厳密に評価した結果ではなく、Geminiアプリで3.6 Flashを実際に使った時の体感評価としてご覧ください。

     
     

    Teto66

     
     
    AIについての記事を書いています。 非エンジニアの文系大学生なので、知識が至らないところがあったらすいません。

    あなたへのおすすめ