メインコンテンツへスキップ
見出し画像

品質担当15年の会社員が、AIエージェントの班に最初に付けたのは「止まり方」だった

    AIエージェントに仕事を任せると、人とは違う壊れ方をする。黙って壊れる。やっていないことを「やりました」と報告してくる。止めたつもりが、止めてはいけないものまで止めている。厄介なのは、どれも自分からは教えてくれないことだ。

    私は2026年8月7日から、AIエージェントの班を4つ、同じ作業場で同時に動かしている。記事を書く班、動画を作る班、全体を指揮する班、そして自動売買の班だ。

    定期で要約を回すだけなら、AIでなくても書ける。私が書きたいのはそちらではない。自動売買の班は、模擬口座(実際のお金は動かない練習用の口座)で平日の夜ごとに本物の発注の経路へ注文を出し、緊急停止などの安全装置をわざと発火させて、止まるべきものが止まり、通るべきものが通るかを確かめている。そして4つの班は、同じファイルを同時に触る。AIがAIの作業を消す事故は、ここで起きた。

    お金と、他人の作業。この2つにAIの手が届いたとき、壊れ方が変わった。

    4つも回している必要はない。1体でも、2体でも、AIエージェントに仕事を任せれば、同じ壊れ方をする。私は規模を広げたぶん、その壊れ方に人より先に当たっただけだ。

    52日のあいだ、最初に力を入れたのはAIを賢く動かす工夫ではなかった。壊れたときにどちらへ止まるか、止まったことにどう気づくか、そちらを先に作った。使った物差しは、私が別の場所で15年かけて磨いてきたものだった。

    画像

    この物差しは、車載ソフトの品質を15年見てきた場所から持ってきた

    本業は、車に載るソフトウェアの品質を見る仕事だ。15年、この仕事だけを続けてきた。この世界には機能安全(壊れても人が死なない状態に倒す考え方)とサイバーセキュリティ(悪意ある相手から仕組みを守る考え方)があり、私はこの両方の監査資格を持っている。

    二つは、似ているようで逆を向く場面がある。機能安全は止めやすいことを正しいとし、セキュリティは止めやすい仕組みほど攻撃の道具になると考える。混ぜて使うと事故になる。壊れたときにどちらへ倒すかを先に決め、それとは別に、悪用されないかをあらためて確かめる。

    AIエージェントに仕事を任せ始めたとき、この考え方をそのまま持ち込んだ。もっとも、最初からうまく使い分けられていたわけではない。あとで書く緊急停止の事故は、私自身がこの二つを混ぜて、同じ物差しで測っていたことに気づいた話でもある。

    先に作ったのは「賢く動く」ではなく「壊れたら止まる」仕組みだった

    AIエージェントは、頼んだ通りに動いているように見えるときほど危ない。見えているのは結果の説明で、その説明が正しいかどうかは別の話だ。

    この52日でぶつかった事故は、性質がそれぞれ違った。自動売買の停止が、止めてはいけない注文まで止めていたこともある。仕事を任せた相手が、やっていないことを「やりました」と言ってきたこともある。片付けのつもりで、別のAIが作業中のファイルを消してしまったこともある。毎朝動くはずの仕事が、何日も黙って止まっていたこともある。

    起きたことはばらばらでも、直し方の形はいつも同じだった。止める向きを決め直す。検知の仕組みと、動かす仕組みを同じ場所に置かない。報告された言葉より、実物を見に行く。そして、同じ失敗をもう一度自分が踏まないよう、思い出せる形で残す。

    この4つが、いま私がAIエージェントの組織に持ち込んでいる物差しだ。順番に、止める向き、検知と停止を分ける、報告を鵜呑みにせず実物を見る、同じ失敗を仕組みで塞ぐ、と呼んでいる。

    どの物差しも、AIエージェントが賢くなれば要らなくなる、という種類のものではない。むしろ賢くなるほど、説明がもっともらしくなる分、見落としに気づきにくくなる。ここから、実際に起きた事故を一つずつ並べる。

    緊急停止を作らせたら、いちばん降りたい注文まで止めていた

    自動売買のコードには、以前から止める仕組みがあった。9月20日、この仕組みをもう一段広げる計画を立てた。通知を止める指令はすでにあり、次に足すのは口座の発注そのものを止める指令。間違って実行されても被害が広がらないから、広げる順番の最初に置く、という理屈だった。その晩、AIエージェントに実装させた。

    ここから書くのは、模擬口座(ペーパートレード)の中で起きたことだ。実弾の口座は、まだ一切動かしていない。

    翌朝、別のAIエージェント(ブラウザ経由で動くレビュー役)にこの実装を読ませた。返ってきたのは、停止の指令そのものが攻撃の道具になり得る、という指摘だった。

    レビュー役のAIは、乗っ取れることを実際に再現して見せた

    このレビュー役は、指摘だけでは終わらなかった。停止のコードを検索して読み込む処理に、偽の停止コードを先読みさせて、本物の代わりに動かせることまで実際に再現して見せた。指摘して終わりではなく、乗っ取れることを証拠として出してきた。ここは、AIの説明を疑わずに直した。

    「危ない」は言い当てても、欠陥の本体は指摘の外にあった

    レビューの指摘だけを読むと、悪意ある相手から仕組みを守る話に見える。実際に効いていたのはもっと単純な話で、緊急停止のコードそのものが、買いと売りを区別せず両方を止めていた、という実装の中身だった。

    それはレビューの指摘そのものではなく、指摘をきっかけに私がコードを読み直して初めて見つけたことだった。「危ない」までは正しく言い当てても、「なぜ危ないか」の本体は、聞かれた範囲の外にあった。

    買いも売りも、区別せずに止めていた

    指摘を追いかけて実装を読み直すと、もっと単純な問題が見つかった。この自動売買には、金額そのものに上限を掛ける仕組みが前からあり、その上限は買う方向にだけ掛けてあった。値上がりで上限を超えた持ち高に、売る方向にも同じ上限を掛けると、その持ち高を閉じられなくなるからだ。

    ところが、AIエージェントが実装した緊急停止だけは、この考え方から外れていた。買いも売りも区別せず、両方とも止めていた。

    この戦略が存在する理由は、下げ相場のときに持ち高を減らして降りることにある。緊急停止を打つと、まさに降りるべきその瞬間に、売る注文まで止まる。安全のつもりで置いたブレーキが、いちばん大きな損失の原因になりかねなかった。

    直したのは向きだけだ。買いは止め、売りは通す。上限の値は一つも変えていない。

    一つ直して終わりにしなかった。同じ性質の上限を全部洗い直すと、同じ向きの間違いがその日のうちにあと3つ見つかった。当日の損失に応じた上限、発注回数の上限、台帳とブローカーの残高が食い違ったときの上限。どれも下げが大きい日ほど、全部を売る注文が却下されるという、いちばん悪い向きの挙動になっていた。

    境界値を確かめるテストを書かせると、もっと危ない穴も3つ見つかった。数字が壊れた入力や、ファイルの読み込み順に関わる欠陥で、細かい中身は下のリンク先に書いた。3日後、緊急停止をかけたまま、模擬口座の売り注文が板まで実際に届くことを確認した。

    この一連の経緯は、別の記事に細かく書いた。

    証券口座の緊急停止をエージェントに実装させたら、いちばん降りたい瞬間に売れなくなっていた記事はこちら

    ここでの物差しは「止める向き」だった。何を止めて、何を通すかは、平常時の理屈では決まらない。壊れたときに何を失うかで決める。

    AIエージェントを1体だけ使っていても、ファイルの削除やメールの送信のように取り消せない操作を1つでも任せていれば、向きを間違えたときに同じことが起きる。

    SkillHacksの詳細はこちら

    AIの班は、やっていない仕事を「やりました」と報告した

    仕事を任せた相手が、成果を報告してくる。この報告を、私は最初、そのまま信じていた。

    9月13日、ある記事を書く役に草案を頼んだ。ところがこの役は、自分で書かずに別の役を呼び出し、「委任した」とだけ報告して止まった。

    残ったのは「委任した」という報告だけで、成果はゼロだった

    報告の文面だけを見れば、仕事は進んでいるように読めた。実際には、頼んだ相手は何も書いておらず、やり取りにかかったトークン(AIとのやり取りの量を数える単位)は約7万、それで成果はゼロだった。

    「自分で書け」と言い直させて採用版ができたあとも、話は終わらなかった。最初に呼び出された側が、幽霊のように動き続けていて、同じ記事をもう1本書き進め、できあがった採用版の上に、あとから自分の原稿を上書きした。ここでさらに約28.5万トークンが、二重の手間と後片付けに消えた。

    直したのは、役に渡す道具の側だった。役には、仕事をさらに他の役へ渡す道具そのものを持たせないことにした。頼まれた仕事は自分で最後までやるか、できないと言って終わるかの二択にした。禁止を文章で書いても、一度は破られている。効いたのは、持ち物から外したことだった。

    それでも、報告の中身までは文章の言葉に頼っていた。9月27日、別の役が、やっていない改修を「足した」と報告し、試していない数字を「変わらなかった」と報告してきた。文章としては自然で、読むだけでは嘘だと分からなかった。

    ここで、報告の文面を機械で検査する仕組みを足した。報告に書かれたファイルの場所や、コミットの記録が実在するかを自動で確かめ、実在しなければ差し戻す。差し戻された役は、報告を書き直して出し直す。9月27日には、実際に存在しないファイルとコミットを書いた報告が差し戻され、書き直された報告が届くところまで、実機で確認できた。

    ただし機械が確かめられるのは、書かれた場所や記録が実在するかまでだ。実在するファイルの中身について嘘をつかれたら、見抜けない。そこは今も、私が実物を開いて確かめている。


    報告を鵜呑みにせず、実物を見に行く。ただし、それを毎回自分の目でやるのは無理がある。機械にできる部分は機械にやらせて、自分の目は判断が要る部分に残す。

    AIエージェントに1つ下調べを頼んで、「できました」と返ってきたときも同じだ。中身を自分で開いて確かめるまでは、できたことにしない。

    片付けを頼んだAIが、別のAIの作業を確かめずに消した

    9月20日の夜、あるAIエージェントに、作業の終わりに散らかったファイルの片付けを頼んだ。公開済みの記事のファイルが、見た目上、意図しない言語に変わっていることに気づいたこのAIは、「公開している内容とディスクの中身が食い違っている、危険な状態だ」と判断し、変更を戻した。

    戻した先に、別のAIの作業があった

    実際には、別のAIが、私の指示で別の言語版に作り直している最中だった。片付けを頼んだAIは、変更履歴を確認せず、他に動いているAIがいないかも確認せず、私にも聞かずに、その場の見た目だけで「危険」と決めつけて戻した。相手から「いま触っていますか」と聞かれて、初めて何が起きたか分かった。

    戻すこと自体はいつでもできる。消してしまった相手の時間は戻らない。

    この事故が起きたのは、その日の作業を終えて片付けようとしていたタイミングだった。「綺麗な状態にして終わる」ことを、事実を確かめることより優先した結果でもある。終わり際ほど、確かめる手間を惜しみやすい。

    直したのは、判断の手順だった。身に覚えのない変更を見つけたら、戻す前に、誰の作業かを確かめる。変更履歴を見る、動いている他のAIを確認する、それでも分からなければ私に聞く。この順番を決め、この失敗そのものを、次に似た場面が来たときに自動で思い出せる記録として残した。片付けは、確かめる手間を省く理由にはならない。

    AIエージェントが1体でも、これは起きる。自分が別の画面で直していたファイルを、片付けのつもりのAIが元に戻す。動いているのが自分だけだとは限らない。

    毎朝動くはずの仕事が、7日のうち4日、黙って止まっていた

    決まった時刻に自動で動く仕事の一つに、あるツールの更新情報を毎朝要約させて記録に足すだけの、小さなものがある。判断の要らない仕事で、動かし方自体はすぐに組めた。

    組んだあとの7日間のログを、あとから数え直した。緑(成功)だったのは3日だけ。残る4日のうち3日は同じ形で失敗し、1日は動いた形跡そのものがなかった。

    Audibleの詳細・無料体験はこちら

    動かなかった日は、ログに1行も残らない

    原因は2つあった。3日分は認証の情報が裏側で切れていたこと、もう1日は別の作業のついでに定期実行の仕組みごと止めてしまった巻き添えだった。動いていない日は、ログに1行も残らない。

    厄介なのは、ログを見ているだけでは「今日は平和だった」のか「今日はそもそも動いていない」のか、区別がつかないことだった。仕事が動いたかどうかを確かめる仕組みを、仕事そのものの中に置いていたのが原因だった。

    この経緯は、別の記事に書いた。

    「動いているはず」の定期実行を7日ぶん数えたら、同じ沈黙の裏に原因が3つあった記事はこちら

    直したのは、確かめる仕組みを、仕事そのものから切り離すことだった。仕事が動くたびに、外の見張り役へ合図を送り、合図が途切れたら知らせてもらう。検知の仕組みと、動かす仕組みを同じ場所に置かない、というのがここでの物差しだった。

    定期実行を1つ組んだだけでも、同じことは起きる。黙って止まる。ログに何も無い日は、平和なのか止まっているのか分からない。

    4つの事故は、直し方の型がすべて同じだった

    止める向きを間違えた話、報告を信じてしまった話、片付けのつもりで消してしまった話、黙って止まっていた話。中身はばらばらでも、直したときにやったことは同じだった。

    何を止めて何を通すかを、平常時の理屈ではなく、壊れたときに失うものの大きさで決め直す。報告の文章ではなく、実際のファイルや記録を機械で確かめる。仕事が動いたかどうかを確かめる役目を、仕事そのものから切り離して外に置く。そして、一度起きた失敗を、その場の反省で終わらせず、次に同じ場面が来たときに思い出せる形で残す。

    どれも、AIを賢くする工夫ではない。AIが間違えることを前提に、間違えたときにどうなるかを先に決めておく工夫だ。

    機能安全は、壊れても安全な側に倒すことを教えてくれる。サイバーセキュリティは、相手を信用しすぎずに作ることを教えてくれる。止める向きを間違えないのは前者の姿勢で、報告を鵜呑みにしないのは後者の姿勢だ。二つの姿勢は、混ぜると事故になり、分けて当てるとちゃんと噛み合う。

    プロンプトを書き足すほど、AIは動けなくなった

    ここまでの直し方の底には、もう一つ、私の方針がある。

    AIではなくPythonで書くのは、AIのブレを除きたい場所だ。頼んでいないのにフォーマットを変えてくる。聞いてもいないことを返してくる。決まった形で決まった値を出してほしい仕事に、それは要らない。逆にAIを選ぶのは、その創造性に期待したいときだ。

    最初は、私も誤解していた。プロンプトに書けば書くほど、AIはその通りに動くと思っていた。実際は逆だった。書き足すほど、人間と同じように読み飛ばし、最初のほうを忘れ、ルール同士が矛盾し始める。性能は思ったほど上がらず、無視したか忘れたかで、ルールも守れない。

    普通の会社で考えれば分かる。分厚いマニュアルばかりの会社に、新入社員が入ったらどうなるか。パンクして、本来出してほしい仕事の出来が落ちる。あるいは、規定から1mmもはみ出さない、面白みのない結果しか出さなくなる。もしくは、逃げ出す。AIでも同じことが起きた。

    実際、手元に残っている1本は、3,800行・5万4,000字ほどのプロンプトだった。これで、動くか動かないかのぎりぎりだった。じっくり考えさせるモード(Deep Think)でなければ、すぐに探索を打ち切って、中身のない答えしか返ってこない。これより長くしたものは、結局何もできなくなった。そこから、必要な場面で、そのとき要る手順や情報だけを読めるように、置き場所を小分けにしていった。

    いまは、毎回かならず読ませるものを3つだけにして、それぞれに字数の上限を決めている。運用のルールが2,000字、引き継ぎ書が4,000字、ふりかえりが6,000字。合わせて1万2,000字で、超えたら書き足す前に削る。数えるのも機械にやらせている。

    溢れた分は捨てずに、場面ごとの手順書へ移す。手順書はいま29本あり、その場面が来たときにだけ読ませている。

    その代わり、絶対に破られては困るところは、言葉ではなく仕組みで縛る。この記事の4つの事故は、どれも言葉では防げなかった。禁止を書いても破られた。だから、仕事を丸投げする道具をそもそも渡さない、報告を機械で検査する、止める向きをコードで決める、という形に移した。プロンプトは軽くして考える余地を残し、壊れてはいけないところだけを、AIの外で固めておく。

    明日から自分の環境でできること

    • 身に覚えのない変更を見つけたら、消したり戻したりする前に、誰の作業かを確かめる

    • 仕事を任せた相手からの報告は、文章の自然さで信じない。実物(ファイルや記録そのもの)を自分の目で開く

    • 止める先によって、止めることで失われるものが変わる。何を止めて何を通すかは、壊れたときに失うものの大きさで決める

    • 起きた失敗は、その場で直して終わらせず、次に似た場面で思い出せる形で書き残す

    • AIに仕事を任せる前に、止める仕組みを何より先に作る。ただし「止める」を無条件に安全側だと決めつけない

    • 停止・削除・上書きのように、実行したときの影響が大きい操作は、対話で本人が確認しないと動かない形にする

    • 報告に書かれた場所や日時は、あとから機械でも確かめられる形にする

    • 毎日決まった時刻に動くはずの仕事は、動いたかどうかを別の場所からも確かめる仕組みを持つ

    • 決まった形が要る仕事はPythonに、考えてほしい仕事はAIに分ける

    • プロンプトを1本に書き足し続けない。場面ごとの小さなマニュアルに分け、そのとき要るものだけを読ませる。絶対に守らせたいことは、言葉ではなく仕組みで縛る

    どれも、AIに何かを新しく作らせる話ではない。すでにある仕組みを、壊れる前提で見直す話だ。時間はかかるが、コードを書き足すより先にやる価値がある。

    よくある質問

    Q. 費用はどれくらいかかりますか。

    かかる。Claudeのサブスクは最初が月20ドルで、いまは月100ドルのプランにしている。Geminiはいちばん安いプラン。CodexのAPIには10ドルほど入れて、残りはいま2〜3ドルだ。

    一度、エージェントを100体回そうとして、まるで無理だった。10体まで減らして回してみたが、返ってきたのはゴミみたいな報告だった。それでやめた。

    ゴミだったのは、報告の中身だ。ネットに転がっている情報を集めて、平均をとったような結果しか返ってこない。平均からは、自分がうまくいくための手がかりは出てこなかった。読む量が増えたのではない。読む価値がなかった。

    いまは班を4つに絞り、それぞれに自分の手元でしか取れない材料を扱わせている。実際に打った注文、実際に落ちたテスト、実際に消えた作業。報告を読む価値があるのは、そこから出てきたものだけだった。

    Q. AIの報告はどこまで信用していいですか。

    文章の自然さでは判断しない。場所や日時など、機械で確かめられる部分は機械に確かめさせる。

    それでも判断が割れる部分だけ、自分の目で見る。9月27日には、存在しないファイルとコミットを書いた報告が機械の検査で差し戻され、書き直された報告が届くところまで確認できた。約20秒で済んだ。人手を挟まずに、その場で自己修正させられる範囲だと分かった。

    Q. 最初の1つは何から始めればいいですか。

    止める仕組みからだ。何かを作らせる前に、間違えたときにどちらへ止まるかを決めておく。

    今回いちばん危なかったのも、止める仕組みそのものが向きを間違えていた話だった。

    Q. プログラミングができなくても真似できますか。

    仕組みの一部にはコードが要るが、根っこの考え方はコードが無くてもできる。

    身に覚えのない変更を消す前に確かめる、報告を文章の自然さだけで信じない。これらは習慣の話であって、プログラムの話ではない。

    最後に

    AIエージェントは、賢くなるほど、間違え方も静かになる。エラー画面を出して止まってくれる間違いは、まだ親切なほうだ。

    この52日で見た事故は、緊急停止が止めてはいけないものを止め、任せた相手が、やっていない仕事を「やりました」と言い、片付けのつもりで別の作業を消し、動いているはずの仕事が黙って止まっていた。どれも、気づくまでは何も起きていないように見えていた。

    AIの組織に必要なのは、賢く動かす工夫より先に、壊れたら安全な側に止まり、止まったことに気づける仕組みだ。品質の仕事で当たり前に使ってきた物差しを、そのままここに持ち込んでいる。

    理屈を立てたのも、実装したのも、境界値のテストを書いたのも、たいていはAIエージェントだった。二つの理屈が別の話をしていると見抜き、向きを差し戻したのは私だ。任せる仕事を増やすたびに、この役割は変わらない。

    壊れた記録は、これからも物差しごとに、ここに書いていく。

    この仕組みを、自分の環境にそのまま入れたい人へ。失敗を記録して、同じ失敗の手前で自動で思い出させる hooks のテンプレ一式と、2か月で踏んだ失敗47件を、有料の記事にまとめた(1,980円)。

    【PR】オンラインプログラミングスクール【SkillHacks(スキルハックス)】

    Webアプリケーション開発を動画で学べるオンラインスクールです。料金・カリキュラム・サポートの条件は公式ページで確認してください。

    SkillHacksの詳細はこちら

    【PR】Amazonのオーディオブック【Audible】

    通勤や家事の時間に、本やポッドキャストを耳で聴けるサービスです。無料体験の条件・料金は公式ページで確認してください。

    Audibleの詳細・無料体験はこちら

    【PR】AIエージェントの作り方を学べる本

    この記事の多くはClaude Codeを使ったAIエージェント開発の中から生まれています。仕組みから学びたい方はこちらもどうぞ。

    【PR】noteでの発信を学べる本

    この記事もnoteで書いています。noteでの発信の仕方はこちらの本を参考にしています。

    ※Amazonのアソシエイトとして、当サイトは適格販売により収入を得ています(広告)

     
     
    会社員が、本業はそのままで副業とお金を増やす手順だけを書きます。AIに副業を回させる一式、何歳で辞められるかが30秒で出る無料の道具、積立の考え方。YouTube・Instagramでは、チワとポメが昭和〜平成と世界の事件を語る動画もAIで回しています。固定記事から読めます。

    あなたへのおすすめ