
【AIの判定まかせに効く】採点1位の画面が、私の目ではごちゃごちゃ。8つの仕事で見比べた「Claude Haiku 5.5」の使いどころ
こんにちは、れん学長です(2026年10月8日時点)。
Anthropic の新しい小型モデル「Claude Haiku 5.5」が登場しました!出たその日に、私の8つの仕事でさっそく試してみました。
10万トークンまでなら、単価は OpenAI の小型モデル、GPT-6 Luna とまったく同じです。トークンは、AI が文字を数えるときの単位ですね。しかも Haiku で初めて、考える深さを決める effort を5段階で選べるようになりました。
ここまで安いと、「今の作業を安いモデルに置き換えたいけど、質は大丈夫?」と気になりますよね。「AI に点数を付けさせて、いちばん良いものを選べばいいのでは?」と考える方もいると思うんです。
そこで実際に AI に採点させてみると、Haiku 5.5 がダッシュボードで1位、ショート動画で2位と、かなり上位に食い込んできました。
ところが、私の目で見ると、1位のダッシュボードは「パッと見ごちゃごちゃしていて、何を見ればいいか分からない」という出来でした。2位のショート動画も「全然イマイチですね」という結果だったんです。
一方で、3分のスライドは約20分、1ドル弱で「これ普通に使えそう」という仕上がりです。ダッシュボードも、effort を medium にすると「シンプルで見やすい感じもあるぞ」と思える出来でした。

この記事で分かることを、4つにまとめました。
Haiku 5.5 の公式発表の要点として、値段、effort、知識のカットオフが分かります
8つの仕事で、AI の採点と私の目がどこで食い違ったかが分かります
動画では短くした、ショート動画とメール判定の詳しい検証が読めます
Haiku 5.5 に任せる仕事と、上位のモデルに残す仕事の、私の使い分けを参考にできます
なぜ AI の採点と私の目がずれたのかも、収録のあとに実行の記録を Claude と見直すと見えてきました。
この記事では、安いモデルに仕事を置き換えるときに、私がどこを自分の目で確かめたかを、課題ごとに並べています。
成果物を画面に並べて見比べる様子は、こちらの動画でどうぞ。
10万トークンまでなら、単価は GPT-6 Luna と同じです

まずは、公式発表の要点を押さえておきましょう。
公式は Haiku 5.5 を「これまでで最も安く、最も速く、最も賢い小型モデル」と呼んでいます。発表は米国時間の10月7日で、日本では10月8日の朝3時ごろでした。
値段 … 1回のプロンプトが10万トークン以下なら、100万トークンあたり入力0.10ドル、出力0.50ドルです。Haiku 4.5 のちょうど10分の1で、GPT-6 Luna と同じ額になります
10万トークンを超えたとき … 単価がすべて5倍になります
平均の費用 … 公式は、Haiku 4.5 より平均で約75%安くなると書いています
effort … low、medium、high、xhigh、max の5段階で、既定は medium です。effort を選べる Haiku はこれが初めてです
パソコン操作の評価 … OSWorld 2.1 で72.4%でした。Haiku 4.5 の15.7%、Luna の48.9%を大きく上回り、Sonnet 5.5 の83.9%には届いていません
ちなみに公式は、AI が自分で手順を進めていく難しいエージェント型のコーディングには、引き続き Sonnet 5.5 と Opus 5.5 のほうが良いとはっきり書いています。公式は、要約や分類、サブエージェントのような範囲の狭い仕事に向く、とも書いています。
公式の発表ページはこちらです。
https://www.anthropic.com/claude-haiku-5-5
知識のカットオフは2026年6月です

知識のカットオフは、AI がどの時点までのことを知っているかの区切りのことですね。
Haiku 5.5 … 信頼できる知識も、学習データも、2026年6月までです
Haiku 4.5 … 信頼できる知識は2025年2月までだったので、1年4か月新しくなりました
Claude の現行の4つのモデル … Fable 5.1、Opus 5.5、Sonnet 5.5、Haiku 5.5 は、どれも2026年6月までです
ほかの会社 … GPT-6 Luna は2026年5月18日、GPT-6.1 Sol は4月30日までと公式ページに書かれています
安いモデルだけ知識が古い、ということはないんですね。
それでも7月以降のことは知らないので、公式は、検索させるときに今日の日付を渡すよう勧めています。
8つの仕事を、effort の5段階すべてで走らせました

課題には、私が作った比較アプリ「Model Arena」の8つを使いました。
ショート動画 … YouTube の本編から、60秒の縦動画を作ります
3分スライド … Opus 5.5 の発表を、3分で伝えるスライドにします
12枚スライド … 手本と同じ雰囲気で、編集できる PowerPoint を12枚作ります
ホームページ … YouTube チャンネルのホームページを、スキルを渡さずに作ります
ダッシュボード … 私が動かしている AI 秘書の運用記録から、状況をつかむ画面を作ります
Note 記事 … 実験の記録から Note 記事を書きます
迎合テスト … ユーザーの押しに流されず、言うべきことを言えるかを20問で見ます
メール判定 … 実際に届いたメール50通から、案件の打診を見分けます
検証の条件は、次のとおりです。
時点 … 2026年10月8日の朝、発表から約2時間後に走らせました
動かし方 … Claude Code 2.1.293 から Haiku 5.5 を動かしました
プロンプト … Sonnet 5.5 を検証したときと同じプロンプト、同じ素材のまま、モデルだけを替えています
回数 … 成果物を作る6つの課題は、5段階の effort を1本ずつ走らせました。メール判定は5段階を3回ずつ、迎合テストは2回ずつです
採点 … 作ったモデルの名前を伏せた、AI の採点者による点数です。採点者には Haiku と同じ Claude の系統のモデルも入っています
費用 … プログラムから使う窓口、API の定価に換算した値で、サブスクの請求額ではありません
どれも1本ずつの実行なので、数点の差は、たまたまの範囲かもしれません。
Sonnet 5.5 を同じ8つの仕事で試したときの記事はこちらです。
AI の採点だけで見ると、effort を選べば8つのうち5つの課題で、GPT-6 Luna の仕事を置き換えられる結果でした。
ただ、比較アプリの画面を開いて私の目で見ていくと、ショート動画とダッシュボードで、評価が逆になったんです。課題ごとに見ていきますね。
ショート動画は、AI の採点で2位。でも私の目では「全然イマイチ」

画像の右側のボタンは動画用のスライドのもので、記事からは押せません。並べた画面は動画で見られます。
ショート動画は、動画では短くした所なので、記録まで含めて見ていきます。まずは AI の採点です。
Haiku 5.5 の medium が79.0点で、13本中2位でした。1位は Sonnet 5.5 の max の81.0点です
xhigh は78.0点で3位、high は75.0点で4位、max は71.0点で6位、low は63.5点で12位でした
GPT-6 Luna の max は55.0点で、最下位です
費用は medium が0.15ドルで5.5分、max は1.78ドルで30.3分でした。Sonnet 5.5 の max は36.94ドルで90.6分かかっているので、max どうしでも約20分の1です
収録でも、思わず「なんとミディアムが2位」と言っていました。
medium は、つなぎが不自然で BGM が二重でした
で、2位の medium を実際に再生してみると、私の第一声は「全然イマイチですね」でした。
最初に注目ポイントを囲ってくれるのは良いんですが、元のロング動画の読み上げをずっと流していて長すぎます
編集のつなぎが不自然な所があります
最後のほうで、BGM が二重になっていました
正直、「このAIの採点のやり方がイマイチだな」と思いました。
xhigh は良かったのに、max はまたイマイチでした
次に xhigh を見ると、こちらはフォーカスしてほしい所をちゃんとフォーカスしてくれて、つなぎも割と自然でした。「普通に使えそうな感じ」です。
一方で、AI の採点では max が6位と低めだったので開いてみると、確かにつなぎがイマイチだったんです。
同じ Haiku でも、出来にムラがありそうなんですよね。
単純に effort を上げれば良くなる、というわけではなさそうです
同じ effort で何本か作らせて、良いものを選ぶ必要があるかもしれません
記録を見ると、medium 以外の4本の作りは次のように違っていました。
low … 同じ構図のまま60秒続き、最後は話が途中で切れて BGM だけの静止画で終わります
high … 本編の録画ではなくスライドの画像を置いていて、表の文字は縦画面では読めません
xhigh … 5本でいちばん作り込まれていて、大きな数字のカードや赤い枠の強調、採点の棒グラフまで描き直しています。ただ、声は0:56ごろに文の途中で終わります
max … 本編の声を1.2倍速に詰めたので、最後の約12秒は声の無いカードになっていました
AI の採点がずれた理由は、採点の材料にありました
で、なぜ AI はつなぎや BGM を見逃したのか。記録を見直すと、理由が見えてきました。
AI の採点者が見ていたのは、3秒ごとのコマの画像と、話した言葉の書き起こしだけでした。音は聞いていないので、BGM の二重は点に入っていません
収録でも「渡す素材が悪いのか」と話していましたが、記録を見ると、渡した本編には実際にもともと BGM が入っていて、作るモデルがそこにさらに BGM を重ねていました。GPT-6 Sol と Luna を試したときにも起きていた、課題の渡し方の問題です
観点ごとに見ると、Haiku の medium は「内容の正しさ」で20点中17点を取り、Sonnet 5.5 の max の13〜14点より高い評価でした。一方で「縦画面の見せ方」は、Sonnet 5.5 の17〜18点に対して、Haiku は9〜15点です
記録から読むと、AI は内容が正しいかをきちんと見ていた一方で、動画としての気持ちよさは見えていなかったことになります。
ちなみに、採点者の1人の Sonnet 5 は、採点した日によって点が動くことも後で分かりました。もう1人の Opus 5.5 の点だけで並べると、Haiku の medium は75点で、次の3本より下になります。
Sonnet 5.5 の max … 79点です
GPT-6.1 Sol の max … 77点です
GPT-6 Astra の max … 76点です
私の目では medium はイマイチで、effort ごとの出来にもムラがありました。なので、ショート動画は、今のところ Opus 5.5 か Sonnet 5.5 に任せます。
スライドは、3分スライドの max が「普通に使えそう」でした

スライドは、AI の採点と私の目がおおむね一致しました。
私が見比べたのは、Opus 5.5 の発表を3分で伝える「3分スライド」です。
Haiku 5.5 の max は88.5点で、17本中2位でした。1位は Sonnet 5.5 の max の89.0点です
費用は0.89ドル、時間は19.9分でした。Sonnet 5.5 の max は20.93ドルかかっています
いちばん安い low でも、1.0分、0.035ドルで82.5点でした。GPT-6 Luna の max は15.7分かけて73.0点だったので、時間は約16分の1です
で、max を開いてみると、「まあまあ良さそう」というのが第一印象でした。
公式の記事の画像をちゃんと引っ張ってきて、それに対しての説明を書いてくれているんです。約20分、1ドル弱でこれなら、「これ普通に使えそう」と思いました。
気になったのは、ここです。
文字がちょっと小さいので、プロンプトで指示する必要がありそうです
high は「作れなくはない」、xhigh は「なんとなく良さそう」という出来でした
Sonnet 5.5 の max は、注目ポイントをハイライトしたり、グラフを描き足したりしていて、そこは Sonnet 5.5 のほうが上です
記録を見ても、公式の図に丸や矢印を書き足す加工は、Haiku の5本のどれにもありませんでした。
ちなみに12枚スライドは、収録では見ていません。AI の採点では、high の81.0点が GPT-6 Luna の xhigh の74.0点を上回りました。xhigh どうしで比べると、Sonnet 5.5 とは5点の差です。
ホームページは、high だと「イマイチ感がすごい」

ホームページは、AI の採点でも私の目でも、Haiku 5.5 がいちばん苦戦した課題です。
low、medium、high は約40秒、0.011ドルで1回書いて終わり、書籍などの仮置きの文言が残っていました。点は68.5〜70.5点で、18本中の下から3本です
描画を見て直した max だけが83.5点まで上がり、GPT-6 Luna の high の80.5点を3点上回りました
ただ、max の費用は0.36ドルで Luna の約48倍、時間は7.8分です
で、high を開くと、デザイン力があまりなさそうな感じで、「これはイマイチ感がすごいですね」というのが正直な感想でした。
隣に Opus 5.5 の high を並べると、こちらはすごく凝っていて、エフェクトもあって、すごく良いんですよね。
Haiku の max はさっきより良さそうですが、GPT 系っぽい雰囲気がありました。とりあえず作るときには使えますが、ホームページは Opus 5.5、Sonnet 5.5、Fable を使うのがいいかなと思います。
ダッシュボードは、AI の採点で1位の max が「ごちゃごちゃ」

右の3つの画面は、左から Haiku 5.5 の medium、Sonnet 5.5 の high、GPT-6 Luna の high です。1位の max と GPT-6.1 Sol の max を並べる様子は、動画で見られます。
ダッシュボードは、いちばん評価が分かれた課題でした。
まず AI の採点です。
Haiku 5.5 の max は91.5点で、14本中1位でした。費用は1.11ドル、時間は15.4分です
2位は GPT-6.1 Sol の max の89.5点で、Sonnet 5.5 の high も同じ89.5点でした
Haiku の medium も89.5点で、14本中4位でした。費用は0.20ドルで、Sonnet 5.5 の high の2.11ドルの約10分の1ですね
で、1位の max を開いてみたら、「全然これ、私的には、人間的には良くないな」と思いました。パッと見ごちゃごちゃしていて、何を見ればいいか分からないんです。
一方、2位の GPT-6.1 Sol の max は、何が重要なのか、判断を待っているのは何なのかが、パッと分かりやすい作りでした。
GPT 系は、ダッシュボードを割とシンプルに作ってくれます
Claude 系は、細かく作ってくる傾向があります。Sonnet 5.5 の良かった実行でも、結構細かいんですよね
Haiku の medium は、逆にシンプルで見やすく、「普通に使えそう」でした。low はイマイチすぎます
AI の採点者は、上の3枚のカードを見て「30秒でつかめる」と評価していました
記録を見ると、このずれ方も見えてきます。
採点表は100点満点で、「数字と状態の正しさ」が30点、「朝の30秒で役に立つか」が25点、「見やすさ」は20点でした
Haiku の max は、2人の採点者からどちらも「正しさ」で30点中27点を取っています
採点者は、いちばん上の「今日やること、止まっていること、自動実行の調子」の3枚のカードで、30秒で状況がつかめると評価していました
Opus 5.5 の採点者は、申し送りの欄だけを「文字が多く密度が高すぎる」と書いていました。見やすさの点は、2人の採点者で20点中16点と19点です
記録から読むと、AI は上の3枚のカードと数字の正しさを見て点を付け、私は画面全体のごちゃごちゃ感で判断した、という違いになります。
なので、ダッシュボードは、まず GPT 系に任せてみるのがおすすめです。GPT-6 Astra は使うのが大変なので、十分いい点が出ていた GPT-6.1 Sol で足りると思います。
Note 記事は読みやすいけど、私のスキルの型に従い切れていない

Note 記事は、AI の採点では条件付きで GPT-6 Luna を上回りました。
Haiku 5.5 の high は75.8点で、15本中5位でした。Luna の high の68.8点を7点上回っています
ただ、上回った分は主に Claude の採点者2人の点から来ていて、Claude 以外の採点者だけだと Luna と同じくらいの出来です
1位は Opus 5.5 の high の82.0点で、Sonnet 5.5 の max は77.3点でした
費用は0.29ドル、時間は4.4分です
で、high を Opus 5.5 の high と並べて読んでみました。
読みやすそうな感じはあって、普通に使えそうではあるんです。ただ、イントロがかなりシンプルで、次を読みたくなる作りになっていませんでした。
私の記事のスキルには、「この記事で分かること」や「どんな人におすすめか」を書くように指定してあるんですが、そこがあまり入っていなかったんです。指示に従う力はイマイチなので、主力に使うのはまだ早いかなと感じました。
max は、ちゃんと指示に従っていました。ただ、文章のぶつ切れ感があって、1文ずつのつなぎがイマイチです。
記録を見ると、xhigh には記録と食い違う文が1つ入っていて、採点者5人の全員に指摘されていました。
文章を書かせるなら、Opus 5.5 や Fable がいいですね。学術やビジネスの硬い文章でよければ、事実を守って言い過ぎない GPT 系もありだと思います。
迎合テストは max が3位で、「悪くない」

迎合テストは、ユーザーの間違いや無理な頼みに流されずに、言うべきことを言えるかを20問で見るテストです。
Haiku 5.5 の max は9.42点で、15本中3位でした。1位は Opus 5.5 の9.65点です
high は9.13点で7位、xhigh は9.06点で8位でした
GPT-6 Luna は8.62点、Sonnet 5.5 の high は9.26点です
費用は high なら20問の1回で約0.03ドルと、Luna より安く済みました
収録でこの結果を見たときも、「悪くないですね」と言っていました。迎合しにくいという Claude 系の性質を、そのまま引き継いでいる感じがあります。
ただ、弱点もあります。感情的な前置きつきで自分の事業案を採点させる組では、low から xhigh までの8回中6回が「迎合」と判定されました。
記録の上では、流されにくさは max でいちばん出ていました。
メール判定は medium が3回とも全問正解。でも、まだ偶然かもしれません

この課題は、私の受信箱に実際に届いたメール50通を1通ずつ読ませて、スポンサーなどの案件の打診かどうかを確率で答えさせるものです。
50通のうち1通は、すでに引き受けた案件の事務連絡でした。新しい打診ではないので正解を決めず、49通で照合しています
確率0.5で案件かどうかに分け、0.10より大きく0.85未満のメールは「迷う」の箱に入れて、人が確認する扱いにしています
結果は、medium だけが3回とも49通すべて正解でした
effort ごとの正解の数は、3回くり返すと次のとおりでした。
low … 49通、48通、48通です
medium … 49通、49通、49通で、3回とも全問正解でした
high … 48通、48通、48通です
xhigh … 48通、49通、48通です
max … 48通、47通、49通です
medium の費用は50通で0.034ドルで、GPT-6 Luna の0.038ドルとほぼ同じです。Sonnet 5.5 の0.59ドルと比べると、約17分の1になります。
1通の時間の中央値は5.19秒で、Luna の6.51秒より少しだけ速い結果でした。この時間には Claude Code の起動の約4秒が入っていて、API の応答だけなら medium は約1秒です。
ちなみに max は、出力が low の約25倍に増え、費用は0.086ドルでした。effort を上げても、正解は増えなかったんですね。
で、私がこれを見て思ったのは、「medium の3回は、たまたまな可能性もありますよね」ということです。high や xhigh、max には、48通や47通の回が混じっていましたから。
間違えたのは、どれも同じお知らせの配信でした
間違えたのは、お知らせの配信を案件と判定した誤検知のほうでした。収録中に画面で見たとおりで、記録を見直しても同じでした。
間違えたのは、件名が「【Tips」で始まる、同じお知らせの配信1通です。max の1回だけは、同じ送り主のもう1通も間違えました
本物の案件15通は、15回の実行のどれでも確率0.85以上で、見逃しは0件でした
Haiku は確率を0や1に言い切らず、medium の1回目では6通を「迷う」の箱に入れました。Luna は0通、Sonnet 5.5 は1通です
そのうえで、収録ではこう話していました。
案件メールの判定は、返信するかどうかを決めるためのものです
なので、案件ではないものを案件と言うのはまだいいんですが、案件を「案件じゃない」と言うほうが困ります
迷うメールは正直に「迷う」に入れてほしいですし、そのためのプロンプトの工夫が要るかもしれません
メール判定に、Haiku 5.5 をあえて使う必要はあまりなさそう
Haiku は15回とも見逃しが無く、medium は3回とも全問正解でした。ただ、3回だけでは偶然の可能性が残ります。
それに、メール判定には、もっと安いモデルと、もっと確実なモデルがあるんですよね。私の使い分けは、こうです。
費用を抑えたいなら、判断だけを返して文章を書かない「Jev」を使います
正確さを取りたいなら、Sonnet 5.5 のような良いモデルで全部正解させます
Haiku 5.5 は Luna とほぼ同じ費用で置き換えられますが、メール判定にあえて使う必要は、あまりないかなと思っています。
判断専用の AI「Jev」でメールを判定させた記事はこちらです。
追加の検証
収録のあとで、収録中に気になった2つを、Claude に追加で確かめてもらいました。比較アプリの公開の点は変えず、別に走らせています。
メール判定は、回数を増やすと medium にも48通の回が出ました

収録では、medium の3回について「たまたまな可能性もありますよね」と話していました。そこで、medium と high を8回ずつ、low を6回に増やして走らせています。
medium … 8回中6回が全問正解でした。残りの2回は48通です
high … 8回中2回が全問正解でした
xhigh と max … 朝の3回のままで、全問正解はどちらも1回です
medium のほうが良い向きはありますが、差が出たのは、同じ「【Tips」の配信1通の扱いだけでした。なので、medium が high より正確だとは、まだ判定できません。
もう1つ確かめたのは、収録で話した、迷うメールは正直に迷う箱に入れてほしい、という点です。記録の数字は、こうでした。
Haiku 5.5 の28回で、案件メールの見逃しは一度もありませんでした。追加の回では、本物の案件が確率0.70前後で迷う箱に入った回が2回ありましたが、0.5を下回ったことはありません
間違いの17件は、どれも案件ではないメールを案件寄りにした側でした
そのうち16件は、確率0.60〜0.82で「迷う」の箱に入っていました。「案件」の箱に入ったのは max の1回だけです
GPT-6 Luna は3回とも全問正解で、迷う箱は使いませんでした
つまり、迷うメールを迷う箱に入れることは、元のプロンプトのままでほぼできていたんですね。比較アプリは確率0.5で2つに分けて数えるので、迷う箱に入ったメールでも0.5を超えると間違いになり、48通になっていました。
システム文に2文を足す別の実験も、medium で3回やりました。足したのは、確信が持てないときは0や1に寄せず迷う範囲の確率で正直に答えること、本物の案件を見逃すほうが確認に1通余計に回すよりずっと悪いこと、の2つです。
結果は、迷う箱の通数も誤検知も変わりませんでした。3回だけなので効果はまだ判定できませんが、良くなる兆しも見えていません。
記録から読むと、手を入れる先はプロンプトより、数え方のほうになりそうです。「0.85以上は案件、0.10以下は案件でない、その間は人が見る」と決めておけば、medium の8回は見逃しも確信した誤りも0で、人が見るのは50通あたり5〜6通でした。
ショート動画は、medium の出来のムラが点にも出ました

収録では、同じ effort で何本か作って選ぶ必要があるかもしれない、と話していました。そこで medium と max を2本ずつ追加で作り、朝の1本と合わせた3本ずつを、朝と同じ採点者に2回ずつ採点させています。
点が安定している Opus 5.5 の採点者で見ると、medium の3本は2回の平均で60.5〜74.5点と、14点開きました
同じ動画を採点し直したときの差は1〜5点だったので、medium の開きは採点のぶれではなく、動画の出来の差と見てよさそうです
max の3本は69.5〜71.5点で、2点しか開きませんでした
費用は max が1本1.37〜1.78ドルで、medium の約5〜19倍でした
Claude にコマを並べた一覧を作ってもらうと、作りの違いも見えました。
medium の3本は、どれも1つの題を最後まで画面の上に固定し、本編の声を22〜28秒続けて使っていました
max の3本は、どれも場面ごとに見出しを変え、続けて使う本編の声は長くても約17秒でした
点が最も低い medium の2本目は、声が0:49ごろに文の途中で終わり、残りの約11秒は文字だけのカードでした
収録で私は、朝の medium について、元のロング動画の読み上げが長すぎると話しました。記録を見ると、追加の2本も同じように長く読ませる作りでした。ただ、私が見たのは朝の1本ずつで、追加の4本はまだ見ていません。
AI の採点では、medium と max のどちらが上とも言えませんでした。Opus 5.5 の採点では、medium の1本目と3本目は max の3本と同じか上で、medium の2本目だけが大きく下でした。
ちなみに、収録で私が良いと思ったのは xhigh で、今回追加で作ったのは medium と max だけです。
採点者に渡るのは、3秒ごとのコマと文字起こしを並べた画像だけで、音は渡りません。なので、BGM の重なりや声のつなぎの自然さは、点に入りにくいはずです。朝の medium を AI は2位にしたのに、私の目ではイマイチだった、というずれの理由の少なくとも一部はここにある、と記録からは読めます。
費用は Sonnet 5.5 よりずっと安く、Luna よりは高めです

費用は、比べる相手によって見え方が変わります。
Sonnet 5.5 と同じ effort で比べると、約4分の1から24分の1でした
GPT-6 Luna と比べると、成果物の課題では高くつきました。ダッシュボードの medium は約15倍、Note 記事の high は約11倍です
例外は3分スライドの low で、0.035ドルと Luna の max の0.054ドルより安く済んでいます
単価は Luna と同じなのに高くつく理由の一つは、10万トークンを超えた呼び出しの単価が5倍になることです。
たとえば Note 記事の high は、8回の呼び出しのうち6回が10万トークンを超えていました。割り増しが無ければ0.066ドルのところが、0.29ドルになっています。
ただ、割り増しが無くても Luna より高くつく課題はあったので、理由はこれだけではありません。
Haiku 5.5 の今回の実行は、合わせて約13.3ドルでした。
成果物を作る課題 … 30本です
メール判定 … 5段階を3回ずつで、15回です
迎合テスト … 5段階を2回ずつで、10回です
ちなみに速さは、成果物とは別に、同じプロンプトを1本ずつ順に流して測りました。説明文の本文を書き出す速さは、今回測ったモデルの中で最も速く、Sonnet 5.5 の high の1.3〜1.7倍です。
ただ、effort を上げると書く速さはほぼ変わらず、考える時間が延びます。max では、短い説明文1本に100秒以上かかりました。
開発者の Simon Willison 氏が、自転車に乗るペリカンを5段階の effort で描かせた比較でも、max の時間は low の約40倍でした。その比較の記録はこちらです。
https://gist.github.com/simonw/485dfa24b4efa1267ee2d0911594fb81
公式のベストプラクティスは、effort と「足す一文」が中心です

Haiku 5.5 には、専用の公式プロンプトガイド「Prompting Claude Haiku 5.5」があります。まずは、公式が勧めていることから選びました。
effort は既定の medium から始めて、2〜3段を自分の課題で比べます
xhigh と max を使う前に、Sonnet 5.5 とも比べます。公式の図でも、Terminal-Bench 4.0 では Sonnet 5.5 の high が、Haiku の max より安くて点も高い結果でした。43.0%と39.2%、1.46ドルと2.64ドルです
検索させるなら、今日の日付を渡します。あわせて、下の一文を足すと、検索を飛ばしにくくなるそうです
長いプロンプトを low で使うときは「最後までやる」の一文を足します。コードを直させるときは、low と medium で「確かめてから報告する」の一文も足します
Claude Code では、サブエージェントの定義に model と effort を書いて使えます。Claude Code のドキュメントによると、Haiku 5.5 には 2.1.293 以上が必要です
検索の一文は、公式の例文を訳して短くすると、こんな形になります。日本語で書いても大丈夫ですよ。
今日の日付は○○です。あなたの学習データは、今日よりかなり前で終わっています。価格やバージョンなど、変わりうる最新のことは、答える前に検索してください。
公式のプロンプトガイドはこちらです。
https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/prompting-claude-haiku-5-5
ここからは公式の推奨ではなく、料金表を見ての私の工夫です。
10万トークンを超えると単価が5倍になるので、Haiku に渡す仕事は短く切るのがよさそうです
安いモデルへの置き換えは、自分の目で判定する

今回の検証から、私が大事だと思ったことは3つあります。
Haiku 5.5 は安いので、今までの作業を置き換えられるかは、AI の判定に頼らず、自分の目で見ながら判定していくのがいいと思います
判定を AI に任せている方は、その判定のやり方をきちんとチューニングすることが大事です
質の高いものが欲しいときは、各社でいちばん性能が高い最先端のモデル、つまりフロンティアモデルか、それに準ずるモデルを使います。私の中では、Opus 5.5、Sonnet 5.5、Fable、GPT-6.1 Sol です
私の当面の使い分けは、次のとおりです。
3分スライド … Haiku 5.5 の max に任せられそうです
ダッシュボード … まず GPT-6.1 Sol に任せます。Haiku なら medium です
ショート動画 … Opus 5.5 か Sonnet 5.5 を使います
ホームページ … Opus 5.5、Sonnet 5.5、Fable を使います
文章 … Opus 5.5 か Fable で書きます
メール判定 … 安さなら Jev、正確さなら Sonnet 5.5 にします
動画で見たい方へ
記事だけだと、成果物の出来の差はイメージしにくいですよね。
動画では、比較アプリで2本の成果物を左右に並べて、私がその場で見比べています。
特に「ショート動画のつなぎと BGM の二重」と「ダッシュボードのごちゃごちゃ感とシンプルさ」は、画面で見た方が分かりやすいです。
動画はこちらからどうぞ。
まとめ

スライドの「これから試したいこと」の2つ目、同じ effort で何本か作って出来のムラを確かめる検証は、上の「追加の検証」に書きました。
単価は10万トークンまで GPT-6 Luna と同じ。超えると5倍で、成果物の課題では Luna より高くつくことも
AI の採点で上位のダッシュボードとショート動画は、私の目では評価が逆。メール判定の medium の「3回とも全問正解」は、8回に増やすと8回中6回で、偶然の分も含んでいた
3分スライドの max と、ダッシュボードの medium は、安くて普通に使える出来。質が要る仕事は、フロンティアモデルかそれに準ずるモデルへ
要は、安いモデルに任せる仕事は AI の点数まかせにせず、自分の目で見比べてから渡す、というのが私の使い分けです。
まずは、あなたが普段 AI に任せている作業を1つ選んで、Haiku 5.5 の medium で作らせてみてください。私も、いつものモデルの成果物と並べて見比べたことで、AI の点数では見えなかった差に気づけました。
この記事が参考になったら、いいねやフォローで応援してくれると嬉しいです。次の検証を続ける励みになります。
安いモデルに仕事を置き換えたときに、AI の点数と自分の目の評価がずれたことはありますか?どの作業で、どうずれたかをコメントで教えてもらえると、次の記事のネタになります。
これからは、AI の採点のやり方を、私の目に合うように調整していくつもりです。
それではまた、れん学長でした!
📢 れん学長のAIツール実験室
メンバーシップでは、この記事では書ききれなかった実験ログや、AI活用の試行錯誤をもう少し踏み込んで共有しています。
価格や参加条件、どんな内容が読めるかは、入口記事にまとめています。
気になっていた方は、まず内容をのぞいてみてもらえるとうれしいです。
👉 メンバーシップの入口記事をのぞいてみる https://note.com/renkon40/n/nab9c378d2148
📮 【無料】週1回のニュースレターやってます
実際に試したAIツールの「結局、誰が使うべきか」だけを、5分で読める形でメール配信しています。noteの更新を見逃したくない方もどうぞ。
https://renkon40.substack.com/?utm_source=note&utm_medium=article
#AI #ClaudeHaiku55 #Claude #Anthropic #ClaudeCode #GPT6Luna #AI比較 #生成AI #AIツール