メインコンテンツへスキップ
見出し画像

試験が本物のClaudeを51回呼んだ日――差し替え漏れに頼らない止め方

    自動投稿の仕組みの試験を走らせたら、03:34〜03:36の間に本物のClaudeが51回呼ばれていました。

    原因と止め方の記録です。

    このnoteは、AIに手伝ってもらいながら note の自動投稿の仕組みを作っている作業ログです。

    初めての方は、先に「このnoteの読み方」を読むと全体の流れがつかみやすいと思います。

    今回は 2026-10-05 の夜中に起きた事故の話です。

    うまくいった話ではありません。

    何が起きて、最初に何を確かめ、どう直したかを、ログに残っている数字と順番のまま書きます。

    困ったこと:試験なのに本物のAIが動いていた

    この仕組みでは、書いた下書きを判定役のAI(claude)に渡して、型の決まりに合っているかを見てもらいます。

    試験では本物の claude を呼ばず、作り物の答えを返す関数に差し替えて動かす決まりでした。

    その日は、判定まわりの見直し(タスク番号 T-022)を進めていました。

    作業は役割を分けたAIに任せていて、全体を取りまとめる側を「親」と呼んでいます。

    ところが 03:34〜03:36 の間に、試験が本物の claude を呼んでいました。

    回数は51回です。

    試験が使った一時フォルダに呼び出しの記録が残っていて、llm_call の成功が49回、失敗が2回。

    この数は親が記録を数えて確かめています。

    最初に確かめた3つ(この順番で)

    慌てて直し始める前に、被害の大きさを先に確かめました。

    順番は次のとおりです。

    1. 何を送ったか

    送っていたのは、試験用の作り物の下書きと、判定の基準を書いた rubric(md)だけでした。

    本物の記事や、作業ログの中身は入っていません。

    1. いくらかかったか

    その時点の見積もりは、1回あたり $0.006〜0.016、51回で約 $0.3〜0.8 でした。

    ただし請求額はまだ見ていない、という書き方でログに残しています。

    あとで claude auth status で確かめると、定額プランのログインで動いていました。

    追加の請求は無しです。

    1. 何が残っているか

    一時フォルダが4つ残っていました。

    中身は config の写しと呼び出しの記録だけで、そこにあった blocked_names(txt)も試験用の作り物です。

    親が中身を見てから消しました。

    動いたままのプロセスは残っていませんでした。

    送った中身、費用、残り物。

    この3つを先に押さえたので、そのあとは原因に集中できました。

    原因:2つの条件が重なっていた

    原因は2つでした。

    1つ目は、試験の準備をする setUp の途中に関数を差し込んだことです。

    これで llm の ask を作り物に差し替える処理が外れてしまいました。

    2つ目は、試験が DRY_RUN=0 の状態で走っていたことです。

    本物を呼ばずに済ませる切り替えが効いていませんでした。

    どちらか1つだけなら、本物までは届かなかったかもしれません。

    差し替えが外れ、切り替えも効いていない。

    この2つがそろったときに、本物へ届く道が開いていました。

    試していたやり方と、その弱さ

    それまでのやり方は「試験ごとに、呼び出しを作り物へ差し替える」でした。

    試験の数が少ないうちはこれで足ります。

    ただ、この日の終わりには試験は全体で577件ありました。

    差し替えを1か所書き忘れる、あるいは今回のように準備の順番がずれて外れる。

    それだけで本物に届く作りでした。

    つまり、守りが試験1件ずつの書き方に任されていたのが弱さでした。

    直し方:入り口で「呼ばれたら失敗」にする

    再発防止は T-023「試験から本物の外部コマンドを呼べなくする」というタスクにまとめ、T-008 より前に入れました。

    中身は、試験全体が最初に読む init(py)で、llm と image の外部コマンドを呼ぶ口(subprocess の run と Popen)を、既定で「呼ばれたら失敗」にすることです。

    本物を呼ぶ試験は1つも無い、という前提に立っています。

    試験ごとの差し替え漏れには頼りません。

    ただ、例外が1つ要りました。

    test_guard の読み込み順の試験は、python 本体を -c の固定文で起動して確かめます。

    ここだけは本物を起動しないと試験になりません。

    そこで、その場だけ本物を使える「入口」を作り、この試験にも使ってよいと決めました。

    入口を使う試験の決まりは次の2つです。

    ・使ってよい呼び出し元は ALLOWED_CALLERS に名前を足すだけにする

    ・守りそのものは弱めない

    さらに見直しで、一番下の口で相対の名前を通さない1行(os.path の isabs で絶対の名前かを見る)を足すことになりました。

    実害は出ていませんが、抜け道は先に塞いでおきます。

    この1行は T-008 で入れます。

    この日の終わりに試験を走らせ直した結果は、全体で 577 OK、skipped=2 でした。

    skip の2件は、この PC ではシンボリックリンクを作れないために飛ばしている試験です。

    同じ日にもう1つ見つかった「本物に触る試験」

    事故を直したあとの別の見直し(T-029)で、似た種類の穴がもう1つ見つかりました。

    test_run_daily(py)の882行目で、練習運転の片付け(cleanup_practice)の対象として、本物の一時フォルダを渡していたのです。

    今は重なりを見る判定があるので、何も消えません。

    ただ、その判定が壊れると、本人の一時フォルダにある noteauto_practice_* を消してしまいます。

    お金はかかりませんが、こちらは消えたら戻りません。

    次に計画を開け直すときの最優先にしました。

    51回の件と同じで、問題は「試験が本物に触れる道が残っていること」でした。

    次に同じことをする人への判断

    AIや外部のコマンドを呼ぶ仕組みを自分で試験するなら、次の順で考えるのがよいと思います。

    ・試験全体の入り口で、外部コマンドを既定で失敗にする。

    試験ごとの差し替えだけに頼らない

    ・DRY_RUN のような切り替えも当てにしすぎない。

    今回は 0 のまま走っていた

    ・本物が必要な試験は「名前を足すだけ」の入口を通し、相対の名前は通さない

    ・片付けや書き込みの試験で、本物のフォルダを渡していないかを見る

    ・もし本物が呼ばれたら、送った中身 → 費用(契約のプランも含めて)→ 残ったフォルダとプロセス、の順に確かめる

    特に費用は、見積もりだけで済ませず、どのプランで動いていたかまで確かめてください。

    今回は定額プランだったので追加の請求はありませんでしたが、それは結果としてそうだっただけです。

    次回について

    次回は、同じ日に起きた別の件を書く予定です。

    Windows の通知がセキュリティソフトに止められていたのに、終了コードは0で「成功」に見えていた話です。

    続きが気になる方は、フォローしておいてもらえるとうれしいです。

    この作業ログ全体の順番は「このnoteの読み方」にまとめています。

    最後に1つ質問です。

    AIや外部のコマンドを使う仕組みを試験するとき、本物が呼ばれないように、どこで止めていますか?

    ──────

    毎日1本、AIと働いた作業ログを出しています。

    初めての方はこちらから

    https://note.com/aiworklog_jp/n/n7ac1319dff88

    前回の記事

    https://note.com/aiworklog_jp/n/ne3e89d6544b7

    この記事は、筆者の作業記録をもとにAIで下書きしています。見出し画像もAIで生成しています。

     
     
    AIと働く日々の作業ログ。毎日1本、Claude Codeなどに任せた仕事の中身・かかった時間・失敗を数字つきでそのまま公開します。初めて読む方は固定記事から。

    あなたへのおすすめ