メインコンテンツへスキップ
見出し画像

将棋AIコーチ、同一局面をClaudeとChatGPTに解説させたら「差」がくっきり出た話


    〜 5種類のプロンプト × 2つのAI、徹底比較レポート 〜


    はじめに ── 「同じ問題を出したら、どう答えが変わる?」

    前回の記事(将棋コーチAIをPythonで自作した話)では、将棋エンジン「水匠5」の解析結果をChatGPT APIに渡して、自然言語で解説させる将棋コーチソフトを作りました。


    画像

    今回は、まったく同じソフトのAPIをClaudeに差し替えて、同一局面を解説させてみた比較実験のレポートです。

    実験の条件はこうです。

    画像
    △4二玉 までの局面
    • 局面:同一(▲4八玉を最善手とする序盤の中飛車局面)

    • エンジン解析:同一(水匠5、depth=10)

    • 最善手:▲4八玉(一致)

    • 評価値:Claude側 −121、ChatGPT側 −122(ほぼ同じ)

    • プロンプト種別:5種類(普通/初心者向け/アマ有段者向け/子ども向け/振り飛車党向け)

    「同じ答えを渡して、どう説明するか」 ── この一点だけが変わっています。


    実験結果 ─5種類のプロンプト比較

    ① 普通のプロンプト

    Claudeは、▲5五歩の位の意味・▲7七角の役割・後手の端歩が「牽制」として機能している意図まで踏み込んで説明しました。「駒組み段階」という局面分類も明示しており、将棋的な文脈の深さが際立ちます。

    ChatGPTは、読みやすくシンプルにまとまっています。「△7四歩は角道や桂の活用も見据え」という記述は具体性があって良いのですが、全体的な説明の深さはClaudeが一歩上でした。

    判定:Claude優勢

    ※各判定は、Claudeによる比較評価と、ChatGPTによる再評価の両方を参考にしています。

    ② 初心者向けプロンプト

    Claudeは、見出し・改行・区切り線を使った読みやすいレイアウトで、「なぜそうするのか」を丁寧に説明。「まず覚えること」として「序盤の鉄則」を明確に言語化していて、初心者が何を持ち帰ればいいかがわかりやすいです。

    ChatGPTも同様の内容でシンプルにまとめていますが、「なぜ?」の説明がClaudeより薄め。初心者への伝え方という観点では少し淡白な印象でした。

    判定:Claude優勢


    ③ アマ有段者向けプロンプト

    今回、最も差が出たのはこの「アマ有段者向け」でした。

    Claudeは「後手の端歩△1四歩〜△1五歩は単純な端攻めではなく、先手の美濃完成前に一手消費させる牽制の側面がある」という踏み込んだ分析を展開。さらに▲5七銀の将来的な発展性(▲4六銀・▲6六銀の選択肢)にも言及し、評価値がわずかにマイナスになる理由も明示しています。

    ChatGPTは「攻めの権利を後で生かすための一手」という表現が的確で、安定した解説です。ただし有段者が「なるほど」と膝を打つような踏み込みには届きませんでした。

    判定:Claude優勢(最大差)


    ④ 子ども向けプロンプト

    Claudeの表現が光りました。「王さまを安全な角っこへ連れて行く」「銀を元気よく中央に出す」など、擬人的で温かみのある表現が豊富。怖がらせず、ほめる雰囲気で書かれており、子どもの心に届きやすい文体です。

    ChatGPTもわかりやすいのですが、「端の安全スペースを作る」という表現は子ども向けとしてやや難しい印象。全体的にやや平板でした。

    判定:Claude優勢


    ⑤ 振り飛車党向けプロンプト

    ここだけは結果が逆転しました。

    ChatGPTの「中飛車は飛車のさばきと玉の安全がセット」という一言は、中飛車の本質をシンプルに言い切っており、振り飛車党なら「そうそう、これ!」と膝を打つ表現です。核心を一言で伝える力はChatGPTが上でした。

    Claudeは「玉・金・銀の3枚が揃う形」「飛車の横利きを残しつつ」と具体的な手順を丁寧に整理していて、実用的です。ただしChatGPTの一言の切れ味には及ばず。

    判定:ChatGPT優勢


    スコアカード


    画像


    画像
    Claudeによるプロンプト別の評価

    ChatGPTによる再評価 ─ 「今回はClaudeの方が上」

    面白いのは、ChatGPTに同じ解説文を見せて「どちらが優れているか」を聞いたところ、ChatGPTは、今回はClaudeの方が上と評価した点です。

    スコアまで出してくれました。

    画像
    ChatGPT5.5による評価


    画像


    自己評価としてかなり正直ですね。
    ChatGPTは、特に「安定性・無難さ」の面で強みを見せました。
    結論から言うと、最善手も評価値もほぼ同じなのに、解説文の印象はかなり違いました。特に「有段者向け」「子ども向け」では、AIごとの個性がはっきり出ました。


    なぜClaudeの方が「深い解説」を書けるのか

    ChatGPT自身の分析が鋭かったので、そのまま引用します。

    「今回の勝負は、どちらが将棋を強く読めるか、ではなく、エンジンの答えをどちらが良い教材文に変換できるか、の比較だった」

    ChatGPT5.5による分析

    つまり、将棋の強さの比較ではなく、言語能力の比較だということです。

    ClaudeとChatGPTは、どちらも水匠5から渡された最善手・評価値・読み筋をもとに解説文を生成しています。将棋エンジンが「正解」を出しており、AIは「説明役」です。

    その中でClaudeが勝ったのは、与えられた材料から人間が納得しやすい意味づけを作る力が高かったから。いわば「棋士」より「将棋の授業が上手な先生」としての能力です。

    ChatGPTは「無難で安全な表現」が多く、初心者向け教材として誤解を生みにくいという長所があります。実用的な将棋コーチとしての安定感は高い。


    理想の将棋コーチAIへ ── 役割分担という発想


    画像
    役割分担

    今回の実験から見えてきた一つの答えがあります。

    最善手・評価値・読み筋 → 水匠などの将棋エンジン
    解説文の生成 → ClaudeまたはChatGPT
    簡潔な一言まとめ → ChatGPTも有効

    ChatGPTが示した「理想形」も面白い提案でした。

    「本文はClaude寄りにして、最後にChatGPT的な一言で締める形が理想」

    ChatGPT5.5による分析

    例えばこんなイメージです。


    この局面では、▲5五歩の位を生かすためにも、まず▲4八玉から玉を美濃囲い方面へ移すのが大切です。
    すぐ攻めるより、玉を安全にしてから中央で戦う。
    中飛車では「飛車のさばき」と「玉の安全」がセットです。


    深い分析 × 簡潔な締め。これが一つの目指す形かもしれません。


    おわりに

    今回の実験を通じて、「同じ問題に対してどう答えるか」でAIの個性がくっきりと見えてくることがわかりました。

    Claudeは「深く、読み応えのある解説を書く先生」。
    ChatGPTは「ミスのない、安全で伝わりやすい解説を書くコーチ」。

    どちらが優れているかではなく、目的によって使い分ける、あるいは組み合わせる発想が大切なのかもしれません。

    実際の解説全文に興味がある方は、下記からダウンロードしてください。


    次回以降も、将棋コーチAIについて、別の観点から紹介する予定です。

    将棋とAIに興味のある方、ぜひスキ・フォローをお願いします!


    #個人開発 #Claude #ChatGPT #将棋AI #プロンプト


    前回記事:将棋コーチAIをPythonで自作した話


    🤖 将棋AIは最善手を示せる。
    しかし、その一手を選ぶ人間の心まで読めるのでしょうか。
    その問いを将棋AIとミステリーで描いた連載小説、
    『最善手は誰のものか』 を公開中です。♟️
    📖https://note.com/hip_rabbit9861/m/m0b53f5351dfa

     
     
    将棋アマ四段|第1種情報処理技術者|第三種電気主任技術者|電気工事士。 将棋エンジン×生成AIによる「将棋コーチAI」の試作過程を発信中。 そこから着想を得た、AI時代の将棋界を描くミステリー小説『最善手は誰のものか』、エッセイ、子ども向け将棋教育術を執筆。

    あなたへのおすすめ