メインコンテンツへスキップ
見出し画像

AIの出来を「数字」で言う方法~LLM評価(eval)の基本設計~

    最近、Sergii Makarevychさんの記事「Evals: how to know whether an AI system actually works」を読みました。AI機能を作る人、買う人、承認する人に向けて、評価(eval)を大枠から細部まで段階的に説明した長編です。

    評価の数字を出す「採点者」そのものを、検証の対象にしている点が面白いです。

    この記事では、元記事の発想を手始めに、evalとは何か、従来のテストと何が違うか、採点者をどう疑えばよいかを順に説明します。

    【発端】 デモで良く見えても次の100件は不明

    画像
    検査を通った返信に、意味の誤りが混じっていた

    LLM(大規模言語モデル)を使った機能は、普通のソフトウェアと失敗の仕方が違います。普通のプログラムは動くか落ちるかですが、LLMは流暢で自信ありげな誤答を返すことがあります。

    だから「デモで良かった」は根拠になりません。1件の良い回答から、次の100件の出来は読めないからです。

    元記事の例が分かりやすいので、先に紹介します。架空のバイクショップの問い合わせ窓口で、AIが返信を書きます。

    返信は丁寧で、返品規約の節を引用していて、必須の事実2つも入っていました。コードで書いた単純な検査2つは、どちらも合格です。

    ところが、判定役のモデルが読むと、規約にない「最大15営業日」という数字を作っていました。形の検査は通っても、意味の誤りは通ってしまいます。

    evalは、この種の見落としを仕組みで拾うための手段です。

    【基礎】 evalは「入力・システム・採点者・数字」の4部品

    画像
    繰り返せるテストにすると、「変更で良くなったか」に答えられる

    eval(evaluationの略)は、AIシステムが狙いどおりに動くか、変更で良くなったか悪くなったかを、数字で言えるようにする繰り返し可能なテストです。Anthropicのエンジニアリング記事も、AIに入力を与え、出力に採点ロジックを当てて成功を測るテストと説明しています。

    流れは4段です。

    1. 入力と、その正解を集める

    2. システムを動かし、出力を保存する

    3. 採点者で全出力を採点する

    4. 採点結果を誤差幅つきの数字にして、前のバージョンと比べる

    採点者には、コードのルール、判定役の別モデル、人間の3種類があります。

    一番の資産は、正解付きの入力です。元記事は、調整用と報告用に分けることも勧めています。

    調整に使った事例で数字を報告すると、実力より良く見えるからです。

    最初から数百件は要りません。Anthropicの記事は、実際の失敗から取った20〜50件の簡単なタスクで、十分に始められるとしています。

    【違い】 evalが測るのは自分の製品、ベンチマークは素のモデル

    元記事は、混同されやすい4つの言葉を区別しています。軸は「何を測るか」です。

    画像
    似た4語は、測る対象で区別できる

    eval

    • 測る対象:自分のデータでの自社システム

    • 例:60件の問い合わせに対する自社アシスタント

    ベンチマーク

    • 測る対象:公開課題でのモデル

    • 例:GSM8K(算数)、SWE-bench(コード修正)

    ソフトウェアのテスト

    • 測る対象:関数が期待値を返すか

    • 例:JSONが読める、落ちない

    モニタリング

    • 測る対象:公開後の実トラフィック

    • 例:実際の問い合わせを毎日サンプルして採点

    ベンチマークの点が高いモデルでも、自社の顧客には誤答することがあります。元記事の言い方では、ベンチマークはエンジンの測定で、evalは自分の道を走る車の測定です。

    もう一つの違いは、合格率の考え方です。Hamel Husainさんの記事は、LLMのテストでは100%の合格を前提にせず、どの失敗まで許すかを製品判断として決める、と書いています。

    【仕組み】 採点者への疑いと数字の誤差幅

    画像
    evalの質は、採点者の質と数字の扱い方で決まる

    evalの質は「採点者の質」と「数字の扱い方」で決まります。

    採点者の得意と盲点は、次のように分かれます。

    • コードのルール:速く、安く、毎回同じ答えを返す。形は見えるが、意味は見えない

    • 判定役モデル:意味を読める。ただし偏りがあり、人間との一致を測る必要がある

    • 人間:基準になる。高くて遅い

    コードで測れるもの(ラベル、形式、必須の事実、禁止フレーズ)はコードで測ります。意味の誤りだけを、判定役に任せます。

    判定役には、「品質を5点で」ではなく、「規約にない主張を含むか」のように、失敗の種類ごとにはい/いいえで聞き、根拠の文を引用させます。

    元記事が紹介する2026年の研究では、この分解のほうが総合採点より人間との相関が高いとされています。誤りを3つ仕込んだ要約は、総合採点では満点、質問分解では低得点になったとされています。

    次に、判定役そのものの検証です。元記事のチュートリアルでは、60件の返信に人手で正解を付け、判定役と比べました。

    画像
    元記事のチュートリアル。報告用60件を人手で採点し、判定役と照合した

    一致は36件で60%でした。

    ただ、全部「合格」と答えても57%は一致する状況でした。偶然の一致を差し引いた指標Cohenのkappaは0.15で、不合格の返信26件のうち、判定役が見つけたのは10件です。

    60%という数字は、悪くなさそうに見えます。しかし中身は、ほぼ何でも通す採点者でした。

    判定役は分類器と同じなので、人間のラベルと照合し、製品の数字の隣に併記します。Hamelさんも、偏りのあるデータでは一致率ではなく、適合率と再現率を分けて測るよう注記しています。

    最後に誤差幅です。60件で振り分けの正解率が70%のとき、元記事の計算では95%信頼区間が58〜82%でした。

    「70%」ではなく「58〜82%のどこか、おそらく70%」が正直な言い方です。Evan Millerの論文「Adding Error Bars to Evals」は、評価を実験として扱い、誤差の公式を示しています。

    バージョンの比較では、同じ60件を両方のバージョンで採点します。元記事の例では、検索する節を増やした新バージョンの合格率は旧バージョンと同じ0.700で、差の95%区間は−0.117〜+0.117でした。

    画像
    同じ60件を両方のバージョンで採点する「対応あり」の比較

    区間がゼロを含むので、差があるとは言えません。しかも新バージョンは14%の件で悪化していました。

    60件では、約12ポイントより小さい差を確実には検出できません。5ポイントの悪化は見えないままです。

    足りないのは巧妙な検定ではなく、件数だと元記事は述べています。

    【具体例】 返信60件の読みが示す直す順番

    元記事のチュートリアルは、採点者を作る前に、60件の返信を読んで失敗の種類を数えています。合格は34件でした。

    失敗は多い順に、必須の事実の欠落が15、根拠のない主張が12、違う節の検索が8、質問に答えていないが5、値の誤りが2、約束のしすぎが1です。

    この一覧が、採点者の設計図になります。多い種類から1つずつ採点者を作ればよく、デモでは誰も気づかなかった「約半数しか合格しない」という実態も見えます。

    種類によって、向いている採点者も変わります。必須の事実の欠落は、文字の有無をコードで見れば、無料で拾えます。

    返信を150語以内とする規則は、守れていたのが17%で、判定役なしで過剰な長さが分かりました。

    一方、根拠のない主張はコードでは拾えませんでした。判定役への質問も、このチュートリアルでは十分な水準に届かず、「この主張は文脈に支持されているか」だけを見る専用の検出器に回しています。

    採点の基準は、採点しながら変わります。Shankarらの研究は、基準がないと採点できず、採点すると基準が定まるという現象をcriteria driftと名づけました。

    2〜3回の見直しは、失敗ではなく通常の経過です。

    【関連概念】 パーツごと、複数回、運用までの拡張

    画像
    システムが複雑になるほど、1つの合格率では足りない

    evalは、構成が複雑なシステムほど、見る単位を分ける必要があります。

    • RAG(資料を検索して答える仕組み):検索役と書き役を別々に採点します。元記事の例では、検索側のhit@2(上位2件に正しい節が1つでも入る割合)が0.93、recall@2(正しい節のうち上位2件に入った割合)が0.88で、問題は主に書き役にありました

    • エージェント:最終状態と経路を見て、同じタスクを複数回走らせます。Anthropicの記事では、1回の成功率が75%でも、3回全部成功する確率は約42%です

    • ベンチマークの読み方:同じモデルでも、出題形式で結果が変わります。元記事ではGSM8Kが0.686と0.746でした。SWE-bench Verifiedは、約2年で40%から80%超まで上がっています

    • 判定役の偏り:Zhengらの論文は、判定役の位置・冗長さ・自己強化の偏りを整理しています

    • 判定役の複数化:Vergaらの論文は、異なるモデル群の小さな判定役を並べたほうが、単独の大きな判定役より良く、7倍以上安いと報告しています

    採点者を最適化に使うと、抜け道を突かれるため、評価用の採点者は別に持ちます。

    運用では、Hamelさんの3段階が目安になります。コードの検査は変更のたび、モデルや人による評価は定期的に、A/Bテストは大きな変更の後に行います。

    評価を開発の中心に置く進め方は「評価駆動開発」と呼ばれ、日本語でも解説書の発売が報じられています。

    参考情報・参考書籍(PR)

    本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。

    関連記事

    【まとめ】 まず20件の失敗例を読むところから

    元記事の数字は、著者のチュートリアルの結果で、私が再現したものではありません。自分の環境でそのまま通用するとは限らないので、次の手順の補助線として使ってください。

    1. □ 手元の失敗例を20〜50件集め、正解を書く

    2. □ 出力を読み、失敗の種類を数える

    3. □ コードで測れるものは、コードで採点する

    4. □ 意味の誤りは、失敗ごとのはい/いいえで判定役に聞く

    5. □ 判定役を人間のラベルと照合し、kappaか検出率を出す

    6. □ バージョンの比較は、同じ件数で、差の区間と悪化した件数を併記する

    製品の合格率、採点者と人間の一致、検出できる最小の差、悪化した割合の4つが揃うと、数字を判断に使えます。

    参考情報

     
     
    海外でバズった最新テック関連情報をわかりやすく整理します! スキの数やページビューが多いなどの反響が多いものがあれば、実際の環境で操作した結果や手順などを共有する記事も作成したいとも思ってます! とりあえずこれを見ておけばディープな最新情報もキャッチアップ!できるものを目指します

    あなたへのおすすめ