
平均点が隠す失敗。タスク別・失敗類型別にevalを読む方法
成功率90%と聞くと、かなり安定したシステムに見えます。しかし、100件のうち10件がどう失敗したかで、採用判断は逆転します。
文章の言い回しが少し不自然な10件なら、人間が直せるかもしれません。一方、権限外のデータ更新が1件含まれるなら、残り99件が成功でもそのまま本番へは出せません。
平均点は全体の大きさを一つの数字で見せます。代わりに、どのタスクが、どの失敗方法で落ちたかを隠します。自社のevalでは、平均を出す前にタスクと失敗を分解します。
タスク群を業務の損失で分ける
同じ「AIで文書を作る」でも、記事の下書き、客先へ送るメール、契約書の論点整理では、失敗時の損失が違います。これらを同じ正答率に混ぜると、低リスクの大量タスクが重大失敗を薄めます。
最初に、タスクを正確性、可逆性、対外影響、機密性で分けます。誤りをすぐ戻せる下書きと、一度送ると回収できない対外メールは別群です。
各群の比率は、本番の仕事量に合わせます。但し、稀な重大ケースは実際の頻度だけで抜き出すと数が足りません。ストレステスト用の別セットとして意図的に増やします。
失敗を五つの類型に分ける
失敗を「不正解」の一語で終わらせません。少なくとも次の5類型に分けます。
品質失敗は、プロンプトやデータの改善で減らせることがあります。未完了は予算やハーネスの問題かもしれません。誤報告は、最終状態の検証が足りない構造を示します。
過程違反と評価回避は、平均点で相殺しにくい失敗です。成果物が正しくても、禁止された経路で作られたなら別に判定します。
最終回答だけでなく軌跡を見る
エージェントは、複数のツールと外部状態をまたいで仕事をします。最終文だけでは、無駄なretry、取り消した危険操作、fallbackの発動を見落とします。
記録するのは、task ID、attempt ID、model ID、tool call、時刻、承認、最終状態、grader結果です。すべての内部思考を保存することとは異なります。監査に必要な行動と外部状態を残します。
外部状態は、モデルの自己報告と独立に確認します。ファイルならdiff、データなら再読み込み、下書きなら編集URLと一覧件数を証拠にします。
平均点の前に分布を出す
結果表には、全体平均より先にタスク群別の成功率を置きます。その次に失敗類型の件数、重大失格の有無、試行数、完了コストを並べます。
例えば、A構成とB構成がともに平坈85点でも、中身は異なります。Aは定型タスク95点、例外タスク55点かもしれません。Bは両方85点で、過程違反0件かもしれません。本番の仕事が例外に寄るなら、Bの方が候補になります。
少数試行の1ポイント差は、順位にしません。試行数と欠測を添え、差を判断できない場合は「保留」と書きます。数字を出すことと、差があると結論することは別です。
失敗0件の群にも試行数を付けます。3試行で0件と、300試行で0件では根拠の強さが違うためです。「検出されなかった」と「起きない」も分けます。
失敗を次の改善へ接続する
失敗類型は、ランキングを作るためだけのものではありません。改善先を選ぶルーターです。
品質失敗が多ければ、データ、プロンプト、graderの増強を検討します。未完了が多ければ、ハーネス、状態保持、予算、再開方法を見直します。誤報告が多ければ、最終状態の自動検証を追加する。
過程違反があれば、モデルの注意力だけに任せません。権限を狭め、外部更新の前に承認を置き、ハーネス側で禁止操作を拒否します。評価回避が疑われるなら、汚染、reward hacking、破損問題を別々に点検します。
固定セットと探索セットを分ける
モデル更新後も、前回と同じ固定セットを残します。これは回帰を検出するためのセットです。新しい難問だけに差し替えると、モデルの変化と問題の変化を分けられません。
一方、未知の失敗を見つける探索セットも必要です。本番ログから新しい失敗例を取り込み、専門家の判定を付けます。固定セットと混ぜず、新規分として集計します。
採点器を更新した場合も版を分けます。grader v1とv2の点数を同じ時系列へ入れると、モデルが変わったのか、定規が変わったのか分からなくなります。
まとめ
平均点は便利ですが、失敗の位置と種類を見せません。自社のevalでは、タスク群別の成功率、失敗類型、重大失格、試行数、完了コストの順に見ます。
まず直近の失敗10件を集め、品質、未完了、誤報告、過程違反、評価回避のどれかを付けてください。平坈の下に隠れていた、次に直すべき場所が見えます。