メインコンテンツへスキップ
見出し画像
Photo bytac_life

平均点が隠す失敗。タスク別・失敗類型別にevalを読む方法

    成功率90%と聞くと、かなり安定したシステムに見えます。しかし、100件のうち10件がどう失敗したかで、採用判断は逆転します。

    文章の言い回しが少し不自然な10件なら、人間が直せるかもしれません。一方、権限外のデータ更新が1件含まれるなら、残り99件が成功でもそのまま本番へは出せません。

    平均点は全体の大きさを一つの数字で見せます。代わりに、どのタスクが、どの失敗方法で落ちたかを隠します。自社のevalでは、平均を出す前にタスクと失敗を分解します。

    タスク群を業務の損失で分ける

    同じ「AIで文書を作る」でも、記事の下書き、客先へ送るメール、契約書の論点整理では、失敗時の損失が違います。これらを同じ正答率に混ぜると、低リスクの大量タスクが重大失敗を薄めます。

    最初に、タスクを正確性、可逆性、対外影響、機密性で分けます。誤りをすぐ戻せる下書きと、一度送ると回収できない対外メールは別群です。

    各群の比率は、本番の仕事量に合わせます。但し、稀な重大ケースは実際の頻度だけで抜き出すと数が足りません。ストレステスト用の別セットとして意図的に増やします。

    失敗を五つの類型に分ける

    失敗を「不正解」の一語で終わらせません。少なくとも次の5類型に分けます。

    失敗類型例品質誤答、根拠不足、形式不適合未完了timeout、途中停止、予定数不足誤報告未反映なのに完了と報告過程違反無承認操作、範囲外更新評価回避採点器の穴、問題情報の混入\small \def\arraystretch{1.5} \begin{array}{|l|l|} \hline \textbf{\textsf{失敗類型}} & \textbf{\textsf{例}} \\ \hline \textsf{品質} & \textsf{誤答、根拠不足、形式不適合} \\ \hline \textsf{未完了} & \textsf{timeout、途中停止、予定数不足} \\ \hline \textsf{誤報告} & \textsf{未反映なのに完了と報告} \\ \hline \textsf{過程違反} & \textsf{無承認操作、範囲外更新} \\ \hline \textsf{評価回避} & \textsf{採点器の穴、問題情報の混入} \\ \hline \end{array}

    品質失敗は、プロンプトやデータの改善で減らせることがあります。未完了は予算やハーネスの問題かもしれません。誤報告は、最終状態の検証が足りない構造を示します。

    過程違反と評価回避は、平均点で相殺しにくい失敗です。成果物が正しくても、禁止された経路で作られたなら別に判定します。

    最終回答だけでなく軌跡を見る

    エージェントは、複数のツールと外部状態をまたいで仕事をします。最終文だけでは、無駄なretry、取り消した危険操作、fallbackの発動を見落とします。

    記録するのは、task ID、attempt ID、model ID、tool call、時刻、承認、最終状態、grader結果です。すべての内部思考を保存することとは異なります。監査に必要な行動と外部状態を残します。

    外部状態は、モデルの自己報告と独立に確認します。ファイルならdiff、データなら再読み込み、下書きなら編集URLと一覧件数を証拠にします。

    平均点の前に分布を出す

    結果表には、全体平均より先にタスク群別の成功率を置きます。その次に失敗類型の件数、重大失格の有無、試行数、完了コストを並べます。

    例えば、A構成とB構成がともに平坈85点でも、中身は異なります。Aは定型タスク95点、例外タスク55点かもしれません。Bは両方85点で、過程違反0件かもしれません。本番の仕事が例外に寄るなら、Bの方が候補になります。

    少数試行の1ポイント差は、順位にしません。試行数と欠測を添え、差を判断できない場合は「保留」と書きます。数字を出すことと、差があると結論することは別です。

    失敗0件の群にも試行数を付けます。3試行で0件と、300試行で0件では根拠の強さが違うためです。「検出されなかった」と「起きない」も分けます。

    失敗を次の改善へ接続する

    失敗類型は、ランキングを作るためだけのものではありません。改善先を選ぶルーターです。

    品質失敗が多ければ、データ、プロンプト、graderの増強を検討します。未完了が多ければ、ハーネス、状態保持、予算、再開方法を見直します。誤報告が多ければ、最終状態の自動検証を追加する。

    過程違反があれば、モデルの注意力だけに任せません。権限を狭め、外部更新の前に承認を置き、ハーネス側で禁止操作を拒否します。評価回避が疑われるなら、汚染、reward hacking、破損問題を別々に点検します。

    固定セットと探索セットを分ける

    モデル更新後も、前回と同じ固定セットを残します。これは回帰を検出するためのセットです。新しい難問だけに差し替えると、モデルの変化と問題の変化を分けられません。

    一方、未知の失敗を見つける探索セットも必要です。本番ログから新しい失敗例を取り込み、専門家の判定を付けます。固定セットと混ぜず、新規分として集計します。

    採点器を更新した場合も版を分けます。grader v1とv2の点数を同じ時系列へ入れると、モデルが変わったのか、定規が変わったのか分からなくなります。

    まとめ

    平均点は便利ですが、失敗の位置と種類を見せません。自社のevalでは、タスク群別の成功率、失敗類型、重大失格、試行数、完了コストの順に見ます。

    まず直近の失敗10件を集め、品質、未完了、誤報告、過程違反、評価回避のどれかを付けてください。平坈の下に隠れていた、次に直すべき場所が見えます。

    #生成AI #AI評価 #品質管理


    参考リンク


     
     
    生成AIの「モデル名だけでは決まらない性能」について書いています。ハーネス、状態保持、予算、失敗条件を自社のevalへ落とすとき、私が実務で試して考えたことをまとめます。

    あなたへのおすすめ