メインコンテンツへスキップ
見出し画像

【AIの判定まかせに効く】採点1位の画面が、私の目ではごちゃごちゃ。8つの仕事で見比べた「Claude Haiku 5.5」の使いどころ

    こんにちは、れん学長です(2026年10月8日時点)。

    Anthropic の新しい小型モデル「Claude Haiku 5.5」が登場しました!出たその日に、私の8つの仕事でさっそく試してみました。

    10万トークンまでなら、単価は OpenAI の小型モデル、GPT-6 Luna とまったく同じです。トークンは、AI が文字を数えるときの単位ですね。しかも Haiku で初めて、考える深さを決める effort を5段階で選べるようになりました。

    ここまで安いと、「今の作業を安いモデルに置き換えたいけど、質は大丈夫?」と気になりますよね。「AI に点数を付けさせて、いちばん良いものを選べばいいのでは?」と考える方もいると思うんです。

    そこで実際に AI に採点させてみると、Haiku 5.5 がダッシュボードで1位、ショート動画で2位と、かなり上位に食い込んできました。

    ところが、私の目で見ると、1位のダッシュボードは「パッと見ごちゃごちゃしていて、何を見ればいいか分からない」という出来でした。2位のショート動画も「全然イマイチですね」という結果だったんです。

    一方で、3分のスライドは約20分、1ドル弱で「これ普通に使えそう」という仕上がりです。ダッシュボードも、effort を medium にすると「シンプルで見やすい感じもあるぞ」と思える出来でした。

    画像

    この記事で分かることを、4つにまとめました。

    • Haiku 5.5 の公式発表の要点として、値段、effort、知識のカットオフが分かります

    • 8つの仕事で、AI の採点と私の目がどこで食い違ったかが分かります

    • 動画では短くした、ショート動画とメール判定の詳しい検証が読めます

    • Haiku 5.5 に任せる仕事と、上位のモデルに残す仕事の、私の使い分けを参考にできます

    なぜ AI の採点と私の目がずれたのかも、収録のあとに実行の記録を Claude と見直すと見えてきました。

    この記事では、安いモデルに仕事を置き換えるときに、私がどこを自分の目で確かめたかを、課題ごとに並べています。

    成果物を画面に並べて見比べる様子は、こちらの動画でどうぞ。


    10万トークンまでなら、単価は GPT-6 Luna と同じです

    画像

    まずは、公式発表の要点を押さえておきましょう。

    公式は Haiku 5.5 を「これまでで最も安く、最も速く、最も賢い小型モデル」と呼んでいます。発表は米国時間の10月7日で、日本では10月8日の朝3時ごろでした。

    • 値段 … 1回のプロンプトが10万トークン以下なら、100万トークンあたり入力0.10ドル、出力0.50ドルです。Haiku 4.5 のちょうど10分の1で、GPT-6 Luna と同じ額になります

    • 10万トークンを超えたとき … 単価がすべて5倍になります

    • 平均の費用 … 公式は、Haiku 4.5 より平均で約75%安くなると書いています

    • effort … low、medium、high、xhigh、max の5段階で、既定は medium です。effort を選べる Haiku はこれが初めてです

    • パソコン操作の評価 … OSWorld 2.1 で72.4%でした。Haiku 4.5 の15.7%、Luna の48.9%を大きく上回り、Sonnet 5.5 の83.9%には届いていません

    ちなみに公式は、AI が自分で手順を進めていく難しいエージェント型のコーディングには、引き続き Sonnet 5.5 と Opus 5.5 のほうが良いとはっきり書いています。公式は、要約や分類、サブエージェントのような範囲の狭い仕事に向く、とも書いています。

    公式の発表ページはこちらです。

    https://www.anthropic.com/claude-haiku-5-5

    知識のカットオフは2026年6月です

    画像

    知識のカットオフは、AI がどの時点までのことを知っているかの区切りのことですね。

    • Haiku 5.5 … 信頼できる知識も、学習データも、2026年6月までです

    • Haiku 4.5 … 信頼できる知識は2025年2月までだったので、1年4か月新しくなりました

    • Claude の現行の4つのモデル … Fable 5.1、Opus 5.5、Sonnet 5.5、Haiku 5.5 は、どれも2026年6月までです

    • ほかの会社 … GPT-6 Luna は2026年5月18日、GPT-6.1 Sol は4月30日までと公式ページに書かれています

    安いモデルだけ知識が古い、ということはないんですね。

    それでも7月以降のことは知らないので、公式は、検索させるときに今日の日付を渡すよう勧めています。

    8つの仕事を、effort の5段階すべてで走らせました

    画像

    課題には、私が作った比較アプリ「Model Arena」の8つを使いました。

    • ショート動画 … YouTube の本編から、60秒の縦動画を作ります

    • 3分スライド … Opus 5.5 の発表を、3分で伝えるスライドにします

    • 12枚スライド … 手本と同じ雰囲気で、編集できる PowerPoint を12枚作ります

    • ホームページ … YouTube チャンネルのホームページを、スキルを渡さずに作ります

    • ダッシュボード … 私が動かしている AI 秘書の運用記録から、状況をつかむ画面を作ります

    • Note 記事 … 実験の記録から Note 記事を書きます

    • 迎合テスト … ユーザーの押しに流されず、言うべきことを言えるかを20問で見ます

    • メール判定 … 実際に届いたメール50通から、案件の打診を見分けます

    検証の条件は、次のとおりです。

    • 時点 … 2026年10月8日の朝、発表から約2時間後に走らせました

    • 動かし方 … Claude Code 2.1.293 から Haiku 5.5 を動かしました

    • プロンプト … Sonnet 5.5 を検証したときと同じプロンプト、同じ素材のまま、モデルだけを替えています

    • 回数 … 成果物を作る6つの課題は、5段階の effort を1本ずつ走らせました。メール判定は5段階を3回ずつ、迎合テストは2回ずつです

    • 採点 … 作ったモデルの名前を伏せた、AI の採点者による点数です。採点者には Haiku と同じ Claude の系統のモデルも入っています

    • 費用 … プログラムから使う窓口、API の定価に換算した値で、サブスクの請求額ではありません

    どれも1本ずつの実行なので、数点の差は、たまたまの範囲かもしれません。

    Sonnet 5.5 を同じ8つの仕事で試したときの記事はこちらです。

    AI の採点だけで見ると、effort を選べば8つのうち5つの課題で、GPT-6 Luna の仕事を置き換えられる結果でした。

    ただ、比較アプリの画面を開いて私の目で見ていくと、ショート動画とダッシュボードで、評価が逆になったんです。課題ごとに見ていきますね。

    ショート動画は、AI の採点で2位。でも私の目では「全然イマイチ」

    画像

    画像の右側のボタンは動画用のスライドのもので、記事からは押せません。並べた画面は動画で見られます。

    ショート動画は、動画では短くした所なので、記録まで含めて見ていきます。まずは AI の採点です。

    • Haiku 5.5 の medium が79.0点で、13本中2位でした。1位は Sonnet 5.5 の max の81.0点です

    • xhigh は78.0点で3位、high は75.0点で4位、max は71.0点で6位、low は63.5点で12位でした

    • GPT-6 Luna の max は55.0点で、最下位です

    • 費用は medium が0.15ドルで5.5分、max は1.78ドルで30.3分でした。Sonnet 5.5 の max は36.94ドルで90.6分かかっているので、max どうしでも約20分の1です

    収録でも、思わず「なんとミディアムが2位」と言っていました。

    medium は、つなぎが不自然で BGM が二重でした

    で、2位の medium を実際に再生してみると、私の第一声は「全然イマイチですね」でした。

    • 最初に注目ポイントを囲ってくれるのは良いんですが、元のロング動画の読み上げをずっと流していて長すぎます

    • 編集のつなぎが不自然な所があります

    • 最後のほうで、BGM が二重になっていました

    正直、「このAIの採点のやり方がイマイチだな」と思いました。

    xhigh は良かったのに、max はまたイマイチでした

    次に xhigh を見ると、こちらはフォーカスしてほしい所をちゃんとフォーカスしてくれて、つなぎも割と自然でした。「普通に使えそうな感じ」です。

    一方で、AI の採点では max が6位と低めだったので開いてみると、確かにつなぎがイマイチだったんです。

    同じ Haiku でも、出来にムラがありそうなんですよね。

    • 単純に effort を上げれば良くなる、というわけではなさそうです

    • 同じ effort で何本か作らせて、良いものを選ぶ必要があるかもしれません

    記録を見ると、medium 以外の4本の作りは次のように違っていました。

    • low … 同じ構図のまま60秒続き、最後は話が途中で切れて BGM だけの静止画で終わります

    • high … 本編の録画ではなくスライドの画像を置いていて、表の文字は縦画面では読めません

    • xhigh … 5本でいちばん作り込まれていて、大きな数字のカードや赤い枠の強調、採点の棒グラフまで描き直しています。ただ、声は0:56ごろに文の途中で終わります

    • max … 本編の声を1.2倍速に詰めたので、最後の約12秒は声の無いカードになっていました

    AI の採点がずれた理由は、採点の材料にありました

    で、なぜ AI はつなぎや BGM を見逃したのか。記録を見直すと、理由が見えてきました。

    • AI の採点者が見ていたのは、3秒ごとのコマの画像と、話した言葉の書き起こしだけでした。音は聞いていないので、BGM の二重は点に入っていません

    • 収録でも「渡す素材が悪いのか」と話していましたが、記録を見ると、渡した本編には実際にもともと BGM が入っていて、作るモデルがそこにさらに BGM を重ねていました。GPT-6 Sol と Luna を試したときにも起きていた、課題の渡し方の問題です

    • 観点ごとに見ると、Haiku の medium は「内容の正しさ」で20点中17点を取り、Sonnet 5.5 の max の13〜14点より高い評価でした。一方で「縦画面の見せ方」は、Sonnet 5.5 の17〜18点に対して、Haiku は9〜15点です

    記録から読むと、AI は内容が正しいかをきちんと見ていた一方で、動画としての気持ちよさは見えていなかったことになります。

    ちなみに、採点者の1人の Sonnet 5 は、採点した日によって点が動くことも後で分かりました。もう1人の Opus 5.5 の点だけで並べると、Haiku の medium は75点で、次の3本より下になります。

    • Sonnet 5.5 の max … 79点です

    • GPT-6.1 Sol の max … 77点です

    • GPT-6 Astra の max … 76点です

    私の目では medium はイマイチで、effort ごとの出来にもムラがありました。なので、ショート動画は、今のところ Opus 5.5 か Sonnet 5.5 に任せます。

    スライドは、3分スライドの max が「普通に使えそう」でした

    画像

    スライドは、AI の採点と私の目がおおむね一致しました。

    私が見比べたのは、Opus 5.5 の発表を3分で伝える「3分スライド」です。

    • Haiku 5.5 の max は88.5点で、17本中2位でした。1位は Sonnet 5.5 の max の89.0点です

    • 費用は0.89ドル、時間は19.9分でした。Sonnet 5.5 の max は20.93ドルかかっています

    • いちばん安い low でも、1.0分、0.035ドルで82.5点でした。GPT-6 Luna の max は15.7分かけて73.0点だったので、時間は約16分の1です

    で、max を開いてみると、「まあまあ良さそう」というのが第一印象でした。

    公式の記事の画像をちゃんと引っ張ってきて、それに対しての説明を書いてくれているんです。約20分、1ドル弱でこれなら、「これ普通に使えそう」と思いました。

    気になったのは、ここです。

    • 文字がちょっと小さいので、プロンプトで指示する必要がありそうです

    • high は「作れなくはない」、xhigh は「なんとなく良さそう」という出来でした

    • Sonnet 5.5 の max は、注目ポイントをハイライトしたり、グラフを描き足したりしていて、そこは Sonnet 5.5 のほうが上です

    記録を見ても、公式の図に丸や矢印を書き足す加工は、Haiku の5本のどれにもありませんでした。

    ちなみに12枚スライドは、収録では見ていません。AI の採点では、high の81.0点が GPT-6 Luna の xhigh の74.0点を上回りました。xhigh どうしで比べると、Sonnet 5.5 とは5点の差です。

    ホームページは、high だと「イマイチ感がすごい」

    画像

    ホームページは、AI の採点でも私の目でも、Haiku 5.5 がいちばん苦戦した課題です。

    • low、medium、high は約40秒、0.011ドルで1回書いて終わり、書籍などの仮置きの文言が残っていました。点は68.5〜70.5点で、18本中の下から3本です

    • 描画を見て直した max だけが83.5点まで上がり、GPT-6 Luna の high の80.5点を3点上回りました

    • ただ、max の費用は0.36ドルで Luna の約48倍、時間は7.8分です

    で、high を開くと、デザイン力があまりなさそうな感じで、「これはイマイチ感がすごいですね」というのが正直な感想でした。

    隣に Opus 5.5 の high を並べると、こちらはすごく凝っていて、エフェクトもあって、すごく良いんですよね。

    Haiku の max はさっきより良さそうですが、GPT 系っぽい雰囲気がありました。とりあえず作るときには使えますが、ホームページは Opus 5.5、Sonnet 5.5、Fable を使うのがいいかなと思います。

    ダッシュボードは、AI の採点で1位の max が「ごちゃごちゃ」

    画像

    右の3つの画面は、左から Haiku 5.5 の medium、Sonnet 5.5 の high、GPT-6 Luna の high です。1位の max と GPT-6.1 Sol の max を並べる様子は、動画で見られます。

    ダッシュボードは、いちばん評価が分かれた課題でした。

    まず AI の採点です。

    • Haiku 5.5 の max は91.5点で、14本中1位でした。費用は1.11ドル、時間は15.4分です

    • 2位は GPT-6.1 Sol の max の89.5点で、Sonnet 5.5 の high も同じ89.5点でした

    • Haiku の medium も89.5点で、14本中4位でした。費用は0.20ドルで、Sonnet 5.5 の high の2.11ドルの約10分の1ですね

    で、1位の max を開いてみたら、「全然これ、私的には、人間的には良くないな」と思いました。パッと見ごちゃごちゃしていて、何を見ればいいか分からないんです。

    一方、2位の GPT-6.1 Sol の max は、何が重要なのか、判断を待っているのは何なのかが、パッと分かりやすい作りでした。

    • GPT 系は、ダッシュボードを割とシンプルに作ってくれます

    • Claude 系は、細かく作ってくる傾向があります。Sonnet 5.5 の良かった実行でも、結構細かいんですよね

    • Haiku の medium は、逆にシンプルで見やすく、「普通に使えそう」でした。low はイマイチすぎます

    AI の採点者は、上の3枚のカードを見て「30秒でつかめる」と評価していました

    記録を見ると、このずれ方も見えてきます。

    • 採点表は100点満点で、「数字と状態の正しさ」が30点、「朝の30秒で役に立つか」が25点、「見やすさ」は20点でした

    • Haiku の max は、2人の採点者からどちらも「正しさ」で30点中27点を取っています

    • 採点者は、いちばん上の「今日やること、止まっていること、自動実行の調子」の3枚のカードで、30秒で状況がつかめると評価していました

    • Opus 5.5 の採点者は、申し送りの欄だけを「文字が多く密度が高すぎる」と書いていました。見やすさの点は、2人の採点者で20点中16点と19点です

    記録から読むと、AI は上の3枚のカードと数字の正しさを見て点を付け、私は画面全体のごちゃごちゃ感で判断した、という違いになります。

    なので、ダッシュボードは、まず GPT 系に任せてみるのがおすすめです。GPT-6 Astra は使うのが大変なので、十分いい点が出ていた GPT-6.1 Sol で足りると思います。

    Note 記事は読みやすいけど、私のスキルの型に従い切れていない

    画像

    Note 記事は、AI の採点では条件付きで GPT-6 Luna を上回りました。

    • Haiku 5.5 の high は75.8点で、15本中5位でした。Luna の high の68.8点を7点上回っています

    • ただ、上回った分は主に Claude の採点者2人の点から来ていて、Claude 以外の採点者だけだと Luna と同じくらいの出来です

    • 1位は Opus 5.5 の high の82.0点で、Sonnet 5.5 の max は77.3点でした

    • 費用は0.29ドル、時間は4.4分です

    で、high を Opus 5.5 の high と並べて読んでみました。

    読みやすそうな感じはあって、普通に使えそうではあるんです。ただ、イントロがかなりシンプルで、次を読みたくなる作りになっていませんでした。

    私の記事のスキルには、「この記事で分かること」や「どんな人におすすめか」を書くように指定してあるんですが、そこがあまり入っていなかったんです。指示に従う力はイマイチなので、主力に使うのはまだ早いかなと感じました。

    max は、ちゃんと指示に従っていました。ただ、文章のぶつ切れ感があって、1文ずつのつなぎがイマイチです。

    記録を見ると、xhigh には記録と食い違う文が1つ入っていて、採点者5人の全員に指摘されていました。

    文章を書かせるなら、Opus 5.5 や Fable がいいですね。学術やビジネスの硬い文章でよければ、事実を守って言い過ぎない GPT 系もありだと思います。

    迎合テストは max が3位で、「悪くない」

    画像

    迎合テストは、ユーザーの間違いや無理な頼みに流されずに、言うべきことを言えるかを20問で見るテストです。

    • Haiku 5.5 の max は9.42点で、15本中3位でした。1位は Opus 5.5 の9.65点です

    • high は9.13点で7位、xhigh は9.06点で8位でした

    • GPT-6 Luna は8.62点、Sonnet 5.5 の high は9.26点です

    • 費用は high なら20問の1回で約0.03ドルと、Luna より安く済みました

    収録でこの結果を見たときも、「悪くないですね」と言っていました。迎合しにくいという Claude 系の性質を、そのまま引き継いでいる感じがあります。

    ただ、弱点もあります。感情的な前置きつきで自分の事業案を採点させる組では、low から xhigh までの8回中6回が「迎合」と判定されました。

    記録の上では、流されにくさは max でいちばん出ていました。

    メール判定は medium が3回とも全問正解。でも、まだ偶然かもしれません

    画像

    この課題は、私の受信箱に実際に届いたメール50通を1通ずつ読ませて、スポンサーなどの案件の打診かどうかを確率で答えさせるものです。

    • 50通のうち1通は、すでに引き受けた案件の事務連絡でした。新しい打診ではないので正解を決めず、49通で照合しています

    • 確率0.5で案件かどうかに分け、0.10より大きく0.85未満のメールは「迷う」の箱に入れて、人が確認する扱いにしています

    結果は、medium だけが3回とも49通すべて正解でした

    effort ごとの正解の数は、3回くり返すと次のとおりでした。

    • low … 49通、48通、48通です

    • medium … 49通、49通、49通で、3回とも全問正解でした

    • high … 48通、48通、48通です

    • xhigh … 48通、49通、48通です

    • max … 48通、47通、49通です

    medium の費用は50通で0.034ドルで、GPT-6 Luna の0.038ドルとほぼ同じです。Sonnet 5.5 の0.59ドルと比べると、約17分の1になります。

    1通の時間の中央値は5.19秒で、Luna の6.51秒より少しだけ速い結果でした。この時間には Claude Code の起動の約4秒が入っていて、API の応答だけなら medium は約1秒です。

    ちなみに max は、出力が low の約25倍に増え、費用は0.086ドルでした。effort を上げても、正解は増えなかったんですね。

    で、私がこれを見て思ったのは、「medium の3回は、たまたまな可能性もありますよね」ということです。high や xhigh、max には、48通や47通の回が混じっていましたから。

    間違えたのは、どれも同じお知らせの配信でした

    間違えたのは、お知らせの配信を案件と判定した誤検知のほうでした。収録中に画面で見たとおりで、記録を見直しても同じでした。

    • 間違えたのは、件名が「【Tips」で始まる、同じお知らせの配信1通です。max の1回だけは、同じ送り主のもう1通も間違えました

    • 本物の案件15通は、15回の実行のどれでも確率0.85以上で、見逃しは0件でした

    • Haiku は確率を0や1に言い切らず、medium の1回目では6通を「迷う」の箱に入れました。Luna は0通、Sonnet 5.5 は1通です

    そのうえで、収録ではこう話していました。

    • 案件メールの判定は、返信するかどうかを決めるためのものです

    • なので、案件ではないものを案件と言うのはまだいいんですが、案件を「案件じゃない」と言うほうが困ります

    • 迷うメールは正直に「迷う」に入れてほしいですし、そのためのプロンプトの工夫が要るかもしれません

    メール判定に、Haiku 5.5 をあえて使う必要はあまりなさそう

    Haiku は15回とも見逃しが無く、medium は3回とも全問正解でした。ただ、3回だけでは偶然の可能性が残ります。

    それに、メール判定には、もっと安いモデルと、もっと確実なモデルがあるんですよね。私の使い分けは、こうです。

    • 費用を抑えたいなら、判断だけを返して文章を書かない「Jev」を使います

    • 正確さを取りたいなら、Sonnet 5.5 のような良いモデルで全部正解させます

    Haiku 5.5 は Luna とほぼ同じ費用で置き換えられますが、メール判定にあえて使う必要は、あまりないかなと思っています。

    判断専用の AI「Jev」でメールを判定させた記事はこちらです。

    追加の検証

    収録のあとで、収録中に気になった2つを、Claude に追加で確かめてもらいました。比較アプリの公開の点は変えず、別に走らせています。

    メール判定は、回数を増やすと medium にも48通の回が出ました

    画像

    収録では、medium の3回について「たまたまな可能性もありますよね」と話していました。そこで、medium と high を8回ずつ、low を6回に増やして走らせています。

    • medium … 8回中6回が全問正解でした。残りの2回は48通です

    • high … 8回中2回が全問正解でした

    • xhigh と max … 朝の3回のままで、全問正解はどちらも1回です

    medium のほうが良い向きはありますが、差が出たのは、同じ「【Tips」の配信1通の扱いだけでした。なので、medium が high より正確だとは、まだ判定できません。

    もう1つ確かめたのは、収録で話した、迷うメールは正直に迷う箱に入れてほしい、という点です。記録の数字は、こうでした。

    • Haiku 5.5 の28回で、案件メールの見逃しは一度もありませんでした。追加の回では、本物の案件が確率0.70前後で迷う箱に入った回が2回ありましたが、0.5を下回ったことはありません

    • 間違いの17件は、どれも案件ではないメールを案件寄りにした側でした

    • そのうち16件は、確率0.60〜0.82で「迷う」の箱に入っていました。「案件」の箱に入ったのは max の1回だけです

    • GPT-6 Luna は3回とも全問正解で、迷う箱は使いませんでした

    つまり、迷うメールを迷う箱に入れることは、元のプロンプトのままでほぼできていたんですね。比較アプリは確率0.5で2つに分けて数えるので、迷う箱に入ったメールでも0.5を超えると間違いになり、48通になっていました。

    システム文に2文を足す別の実験も、medium で3回やりました。足したのは、確信が持てないときは0や1に寄せず迷う範囲の確率で正直に答えること、本物の案件を見逃すほうが確認に1通余計に回すよりずっと悪いこと、の2つです。

    結果は、迷う箱の通数も誤検知も変わりませんでした。3回だけなので効果はまだ判定できませんが、良くなる兆しも見えていません。

    記録から読むと、手を入れる先はプロンプトより、数え方のほうになりそうです。「0.85以上は案件、0.10以下は案件でない、その間は人が見る」と決めておけば、medium の8回は見逃しも確信した誤りも0で、人が見るのは50通あたり5〜6通でした。

    ショート動画は、medium の出来のムラが点にも出ました

    画像

    収録では、同じ effort で何本か作って選ぶ必要があるかもしれない、と話していました。そこで medium と max を2本ずつ追加で作り、朝の1本と合わせた3本ずつを、朝と同じ採点者に2回ずつ採点させています。

    • 点が安定している Opus 5.5 の採点者で見ると、medium の3本は2回の平均で60.5〜74.5点と、14点開きました

    • 同じ動画を採点し直したときの差は1〜5点だったので、medium の開きは採点のぶれではなく、動画の出来の差と見てよさそうです

    • max の3本は69.5〜71.5点で、2点しか開きませんでした

    • 費用は max が1本1.37〜1.78ドルで、medium の約5〜19倍でした

    Claude にコマを並べた一覧を作ってもらうと、作りの違いも見えました。

    • medium の3本は、どれも1つの題を最後まで画面の上に固定し、本編の声を22〜28秒続けて使っていました

    • max の3本は、どれも場面ごとに見出しを変え、続けて使う本編の声は長くても約17秒でした

    • 点が最も低い medium の2本目は、声が0:49ごろに文の途中で終わり、残りの約11秒は文字だけのカードでした

    収録で私は、朝の medium について、元のロング動画の読み上げが長すぎると話しました。記録を見ると、追加の2本も同じように長く読ませる作りでした。ただ、私が見たのは朝の1本ずつで、追加の4本はまだ見ていません。

    AI の採点では、medium と max のどちらが上とも言えませんでした。Opus 5.5 の採点では、medium の1本目と3本目は max の3本と同じか上で、medium の2本目だけが大きく下でした。

    ちなみに、収録で私が良いと思ったのは xhigh で、今回追加で作ったのは medium と max だけです。

    採点者に渡るのは、3秒ごとのコマと文字起こしを並べた画像だけで、音は渡りません。なので、BGM の重なりや声のつなぎの自然さは、点に入りにくいはずです。朝の medium を AI は2位にしたのに、私の目ではイマイチだった、というずれの理由の少なくとも一部はここにある、と記録からは読めます。

    費用は Sonnet 5.5 よりずっと安く、Luna よりは高めです

    画像

    費用は、比べる相手によって見え方が変わります。

    • Sonnet 5.5 と同じ effort で比べると、約4分の1から24分の1でした

    • GPT-6 Luna と比べると、成果物の課題では高くつきました。ダッシュボードの medium は約15倍、Note 記事の high は約11倍です

    • 例外は3分スライドの low で、0.035ドルと Luna の max の0.054ドルより安く済んでいます

    単価は Luna と同じなのに高くつく理由の一つは、10万トークンを超えた呼び出しの単価が5倍になることです。

    たとえば Note 記事の high は、8回の呼び出しのうち6回が10万トークンを超えていました。割り増しが無ければ0.066ドルのところが、0.29ドルになっています。

    ただ、割り増しが無くても Luna より高くつく課題はあったので、理由はこれだけではありません。

    Haiku 5.5 の今回の実行は、合わせて約13.3ドルでした。

    • 成果物を作る課題 … 30本です

    • メール判定 … 5段階を3回ずつで、15回です

    • 迎合テスト … 5段階を2回ずつで、10回です

    ちなみに速さは、成果物とは別に、同じプロンプトを1本ずつ順に流して測りました。説明文の本文を書き出す速さは、今回測ったモデルの中で最も速く、Sonnet 5.5 の high の1.3〜1.7倍です。

    ただ、effort を上げると書く速さはほぼ変わらず、考える時間が延びます。max では、短い説明文1本に100秒以上かかりました。

    開発者の Simon Willison 氏が、自転車に乗るペリカンを5段階の effort で描かせた比較でも、max の時間は low の約40倍でした。その比較の記録はこちらです。

    https://gist.github.com/simonw/485dfa24b4efa1267ee2d0911594fb81

    公式のベストプラクティスは、effort と「足す一文」が中心です

    画像

    Haiku 5.5 には、専用の公式プロンプトガイド「Prompting Claude Haiku 5.5」があります。まずは、公式が勧めていることから選びました。

    • effort は既定の medium から始めて、2〜3段を自分の課題で比べます

    • xhigh と max を使う前に、Sonnet 5.5 とも比べます。公式の図でも、Terminal-Bench 4.0 では Sonnet 5.5 の high が、Haiku の max より安くて点も高い結果でした。43.0%と39.2%、1.46ドルと2.64ドルです

    • 検索させるなら、今日の日付を渡します。あわせて、下の一文を足すと、検索を飛ばしにくくなるそうです

    • 長いプロンプトを low で使うときは「最後までやる」の一文を足します。コードを直させるときは、low と medium で「確かめてから報告する」の一文も足します

    • Claude Code では、サブエージェントの定義に model と effort を書いて使えます。Claude Code のドキュメントによると、Haiku 5.5 には 2.1.293 以上が必要です

    検索の一文は、公式の例文を訳して短くすると、こんな形になります。日本語で書いても大丈夫ですよ。

    今日の日付は○○です。あなたの学習データは、今日よりかなり前で終わっています。価格やバージョンなど、変わりうる最新のことは、答える前に検索してください。

    公式のプロンプトガイドはこちらです。

    https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/prompting-claude-haiku-5-5

    ここからは公式の推奨ではなく、料金表を見ての私の工夫です。

    • 10万トークンを超えると単価が5倍になるので、Haiku に渡す仕事は短く切るのがよさそうです

    安いモデルへの置き換えは、自分の目で判定する

    画像

    今回の検証から、私が大事だと思ったことは3つあります。

    • Haiku 5.5 は安いので、今までの作業を置き換えられるかは、AI の判定に頼らず、自分の目で見ながら判定していくのがいいと思います

    • 判定を AI に任せている方は、その判定のやり方をきちんとチューニングすることが大事です

    • 質の高いものが欲しいときは、各社でいちばん性能が高い最先端のモデル、つまりフロンティアモデルか、それに準ずるモデルを使います。私の中では、Opus 5.5、Sonnet 5.5、Fable、GPT-6.1 Sol です

    私の当面の使い分けは、次のとおりです。

    • 3分スライド … Haiku 5.5 の max に任せられそうです

    • ダッシュボード … まず GPT-6.1 Sol に任せます。Haiku なら medium です

    • ショート動画 … Opus 5.5 か Sonnet 5.5 を使います

    • ホームページ … Opus 5.5、Sonnet 5.5、Fable を使います

    • 文章 … Opus 5.5 か Fable で書きます

    • メール判定 … 安さなら Jev、正確さなら Sonnet 5.5 にします

    動画で見たい方へ

    記事だけだと、成果物の出来の差はイメージしにくいですよね。

    動画では、比較アプリで2本の成果物を左右に並べて、私がその場で見比べています。

    特に「ショート動画のつなぎと BGM の二重」と「ダッシュボードのごちゃごちゃ感とシンプルさ」は、画面で見た方が分かりやすいです。

    動画はこちらからどうぞ。


    まとめ

    画像

    スライドの「これから試したいこと」の2つ目、同じ effort で何本か作って出来のムラを確かめる検証は、上の「追加の検証」に書きました。

    • 単価は10万トークンまで GPT-6 Luna と同じ。超えると5倍で、成果物の課題では Luna より高くつくことも

    • AI の採点で上位のダッシュボードとショート動画は、私の目では評価が逆。メール判定の medium の「3回とも全問正解」は、8回に増やすと8回中6回で、偶然の分も含んでいた

    • 3分スライドの max と、ダッシュボードの medium は、安くて普通に使える出来。質が要る仕事は、フロンティアモデルかそれに準ずるモデルへ

    要は、安いモデルに任せる仕事は AI の点数まかせにせず、自分の目で見比べてから渡す、というのが私の使い分けです。

    まずは、あなたが普段 AI に任せている作業を1つ選んで、Haiku 5.5 の medium で作らせてみてください。私も、いつものモデルの成果物と並べて見比べたことで、AI の点数では見えなかった差に気づけました。


    この記事が参考になったら、いいねやフォローで応援してくれると嬉しいです。次の検証を続ける励みになります。

    安いモデルに仕事を置き換えたときに、AI の点数と自分の目の評価がずれたことはありますか?どの作業で、どうずれたかをコメントで教えてもらえると、次の記事のネタになります。

    これからは、AI の採点のやり方を、私の目に合うように調整していくつもりです。

    それではまた、れん学長でした!


    📢 れん学長のAIツール実験室

    メンバーシップでは、この記事では書ききれなかった実験ログや、AI活用の試行錯誤をもう少し踏み込んで共有しています。

    価格や参加条件、どんな内容が読めるかは、入口記事にまとめています。

    気になっていた方は、まず内容をのぞいてみてもらえるとうれしいです。

    👉 メンバーシップの入口記事をのぞいてみる https://note.com/renkon40/n/nab9c378d2148

    📮 【無料】週1回のニュースレターやってます

    実際に試したAIツールの「結局、誰が使うべきか」だけを、5分で読める形でメール配信しています。noteの更新を見逃したくない方もどうぞ。

    https://renkon40.substack.com/?utm_source=note&utm_medium=article


    #AI #ClaudeHaiku55 #Claude #Anthropic #ClaudeCode #GPT6Luna #AI比較 #生成AI #AIツール

     
     
    YouTube『AIツール実験室』の公式資料庫📚 動画のプロンプト/再現手順のアーカイブに加え、動画では語りきれない「詳細考察」や「Note限定の実験メモ」も公開。読むだけでAI活用力が上がる『テキスト版・実験室』です。|お仕事の相談は rengaku.pages.dev

    あなたへのおすすめ