
AIの「よさそう」を数字に変える~AI Evals Engineerの12段階から読み解く評価の仕組み~
【発端】 12の段に分けて学ぶ評価の腕
最近、Suraj Sharmaさん(@suraj_sharma14)の投稿「If I had 6 months to become an AI Evals Engineer.」を読みました。半年でAI Evals Engineer(AIの出来を測り、品質の関門を作る職種)になるなら何をやるか、を12段階で書いたものです。
各段には「学ぶこと」「作るもの」「その理由」が1組ずつ付いています。テストと統計から始まり、正解データ、採点役のモデル、CI(継続的インテグレーション、変更のたびに検査を自動で走らせる仕組み)での関門、本番の監視へ進みます。
最後は「測れないものは出荷できない」という主張で締まり、「Bookmark and Repost!」という呼びかけで終わります。
学ぶ順番が「評価への信頼を積む順番」になっているところが面白いです。この記事ではその順番を手がかりに、評価(eval)とは何か、感覚で確かめるのと何が違うか、信頼がどう積み上がるかを順に説明します。
最後に、小さな具体例と、自分で試す最初の一歩を置きます。
【基礎】 evalはAIへの試験と採点の仕組み

つまり、AIの出来を人の印象ではなく、採点ロジックで数字にする仕組みです。
eval(evaluation、評価)は、AIシステムに対するテストです。Anthropicのエンジニアリングブログも、AIに入力を与え、出力に採点ロジックを当てて成功を測るもの、と説明しています(Demystifying evals for AI agents)。
投稿の第1段にある一文が、この見方を短く言い表しています。evalはテストであり、テストは数学だ、という考え方です。
二つの採点結果がどれだけ揃っているかを数字にできなければ、改善したとも言えません。
採点の方法は一種類ではありません。投稿には、文字列の一致(厳密なものとあいまいなもの)、埋め込み類似度、判定役のモデルが挙がっています。
埋め込み類似度は、文章の意味の近さをベクトルで数値にしたものです。判定役のモデルを使う方法はLLM-as-a-judge(LLM、つまり大規模言語モデルに採点させる方法)と呼ばれます。
もう一つ、golden datasetという言葉が出てきます。入力と正解の組を人が整えた評価用データのことで、AIの出来を測るときの「ものさし」の目盛りになります。
【違い】 「よさそう」ではなく「3.2% ± 1.1%」という言い方

つまり、感覚は仮説を作る手始めで、数字は主張の根拠になります。
投稿は「Vibe-checking is dead」と言い切っています。vibe checkは、出力を眺めて雰囲気で良し悪しを判断することです。
ただし、評価の実務家であるHamel Husainさんも、vibe checkは有用だが十分ではない、と書いています(Your AI Product Needs Evals)。感覚を捨てるのではなく、感覚で見つけた疑いを数字で確かめる、という順番が自然です。
数字が要る理由は、AIの出力が毎回同じとは限らないからです。投稿の第2段には、temperatureやtop-pといったサンプリングの設定、seed(乱数の種)の固定、指示から徐々に外れていくinstruction driftが並びます。
出力が揺れるものを、1回の印象で比べることはできません。
根拠
感覚で確かめる:数件を見た印象
evalで測る:件数・一致度・信頼区間
再現性
感覚で確かめる:見る人と日で変わる
evalで測る:同じデータ・同じ設定で再実行できる
改善の主張
感覚で確かめる:「Model Bの方がよさそう」
evalで測る:差と誤差の幅を添えて言う
変更後の退行
感覚で確かめる:気づいた人だけが気づく
evalで測る:閾値を割ったら自動で止める
【仕組み】 信頼は五つの層の積み上がり

つまり、各段の出力が次の段の前提になっていて、下の層が崩れると上の数字は意味を失います。
ものさしを作る:正解付きのデータを、複数の人で作ります。
採点役を較正する:判定モデルが人の判断とどれだけ合うかを測ります。
差を数字で言う:改善が誤差でないかを統計で確かめます。
変更を止める:閾値を割った変更をマージ(本線に取り込むこと)させません。
本番から戻す:失敗した事例を、次の評価データへ入れます。
層1 ものさしの精度を測る
投稿の第3段では、2人の注釈者(ラベルを付ける人)で300件のデータを作り、kappaを測ることを勧めています。kappaは、2人の判断が偶然を超えてどれだけ揃っているかを表す数字です。
scikit-learnのドキュメントにある例では、5件中4件が一致しているのに、kappaは0.6875です。単純な一致率の80%より低く出るのは、偶然に揃った分を引くからです(cohen_kappa_score)。
層2 採点役は人との一致で較正する
判定モデルには癖があります。NeurIPS 2023の論文は、位置バイアス(先に出た方を好む)、冗長さバイアス(長い答えを好む)、自己強化バイアス(自分が書いた答えを好む)を挙げています。

論文では、GPT-4が自分の答えに対して勝率が10%高く、Claude-v1は25%高く出ました(Judging LLM-as-a-Judge)。
投稿の言い方では、較正した判定役は計器で、較正していないものは雰囲気です。人が付けた100件のラベルに対する一致度を測って公開する、という作り方がその具体策です。
Anthropicも、LLM判定は人の専門家に近づくよう較正すべきだと述べています。
層3 差は誤差の幅つきで言う
投稿の第8段には、50件での2ポイント差はノイズだ、という指摘があります。評価が50件なら、1件の正誤が2ポイントに当たります。
つまりその差は、1件が入れ替わっただけかもしれません。
そこで、ブートストラップ法による信頼区間、対応のある検定(同じデータで比べた差が偶然かを見る検定)、効果量(差の大きさ)、必要なサンプル数の見積もりが要ります。ブートストラップ法は、手元のデータから復元抽出を繰り返し、数字のばらつきを見積もる方法です。
層4と層5 止める関門と戻る輪
投稿では、評価が展開を止めないなら、それは関門ではなく報告書だ、と書かれています。第9段の例は、タスク成功率がmain(比較の基準にするブランチ)より2%超下がったらマージを止め、失敗した事例をPR(プルリクエスト、変更を取り込む提案)へ自動投稿する、というものです。
本番の監視は、評価データが古びる問題への手当てです。サンプリングした本番のトラフィックを夜間に評価し、品質の低下を知らせます。
さらに第11段では、低評価の反応をラベル付き事例にして評価セットへ足し、翌晩の評価に流すループを組みます。
【具体例】 評価セットの大きさで意味が変わる2%の関門

つまり、閾値の数字だけでは関門の厳しさが決まらず、評価の件数とばらつきの見積もりが前提になります。
以下は投稿の第8段と第9段を組み合わせた、私の考察です。実際に動かして確かめた結果ではありません。
プロンプトを書き換えるPRが出るとします。CIが評価セットを実行し、mainの成功率と比べます。
2%を超えて下がったらマージを止め、失敗した事例をPRに載せます。評価ツールPromptfooのGitHub Actionには、プロンプトの変更を検知して評価を走らせ、結果をPRに載せる仕組みがあります(Testing Prompts with GitHub Actions)。
問題は、評価セットが小さいときです。
50件
1件の重み:2%
「2%の低下」が指す件数:1件
100件
1件の重み:1%
「2%の低下」が指す件数:2件
300件
1件の重み:約0.33%
「2%の低下」が指す件数:6件
50件の評価セットでは、1件の正誤が入れ替わっただけで関門が働きます。判定が運で決まる状態です。
逆に300件なら、6件分の悪化を見ることになります。
だから第8段の統計と第9段の関門はつながっています。閾値を決める前に、実行を繰り返したときのばらつきを見ます。
そのうえで、ばらつきより十分大きい幅を閾値にします。投稿がflaky-eval detection(実行のたびに結果が揺れる評価の検出)を学習項目に入れているのも、同じ理由だと読めます。
【関連概念】 おかしくなる場所ごとの測る単位

つまり、評価は一つの総合点ではなく、おかしくなる場所ごとに測る単位を選ぶ作業です。
RAG(検索で資料を引き、答えを作る方式)
おかしくなる場所:検索と生成の2か所
測り方の例:検索はrecall@kやMRR(検索結果の順位を見る指標)、生成はfaithfulness
エージェント
おかしくなる場所:最終回答の前の途中の動き
測り方の例:ツール呼び出しごとの採点、手順の距離
本番
おかしくなる場所:評価データの古び
測り方の例:夜間サンプリング、品質低下の警報
攻撃への耐性
おかしくなる場所:悪意ある入力
測り方の例:インジェクション、jailbreak、データ持ち出しを項目にした敵対的テスト
RAGの評価ツールRagasでは、faithfulnessは「回答の主張のうち、取得した文脈で裏づけられる割合」です(Faithfulness)。context recallは、見つけるべき情報をどれだけ取りこぼさずに取得できたかを表します(Context Recall)。
検索と生成を別々の点数にするのは、総合点ではおかしくなった場所が分からないからです。
エージェントも同じです。最終回答だけを見ると、途中で間違ったツールを呼んだ事実が隠れます。
投稿が「軌跡(trajectory)が責任の単位だ」と書くのは、このためです。
参考情報・参考書籍(PR)
本記事をより深く理解するために、概念マップスライドを作成しました。こちらをみることで理解の補助になるはずです。
『AIエンジニアリング ―基盤モデルを用いたAIアプリケーション開発の基礎と実践』(Chip Huyen):RAG、エージェントの設計、評価の手法を扱う解説書です。評価を軸にした設計の背景を補えます。
『LLMのプロンプトエンジニアリング ―GitHub Copilotを生んだ開発者が教える生成AIアプリケーション開発』(John Berryman、Albert Ziegler):LLMの能力を評価し、出力を設計する観点があります。評価だけを扱う本ではありません。
『LLMアプリケーション評価駆動開発 継続的に改善し運用していくための実践知』:題名は、評価を軸にした継続的な改善を示しています。
【まとめ】 最初の一歩は20〜50件の出力を読むこと
12段をいきなり始める必要はありません。Hamel HusainさんのAI Evals FAQは、インフラより先にエラー分析から始めるよう勧めています。
大きな変更のたびに、20〜50件の出力を30分ほどかけて手で確認する、という目安も書かれています。
自分で試すなら、次の順が補助線になります。
□ 手元のAI機能の出力を20〜50件読み、失敗に名前を付けて分類します。
□ 分類した失敗から、正解付きの小さな評価セットを作ります。可能なら2人でラベルを付け、kappaを測ります。
□ 判定モデルを使うなら、人が付けたラベルと見比べて一致度を確かめます。
□ 変更前後の比較には、件数と誤差の幅を添えます。
□ 数字が信頼できたら、閾値を決めてCIに組み込みます。
参考情報
Suraj Sharma「If I had 6 months to become an AI Evals Engineer.」
Zheng ら「Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena」(NeurIPS 2023)
関連記事