
証券口座の緊急停止をエージェントに実装させたら、いちばん降りたい瞬間に売れなくなっていた——同じ向きの間違いが、その日のうちに4つ見つかった
証券口座を自動売買するコードには、以前から止める仕組みがあった。9月20日、AIエージェントに書かせた記事の下書きは、その仕組みをもう一段広げる計画を主張していた。チャット経由でAIエージェントへ指令を送れる受け口に、次に足すのは口座の発注を止める指令で、「止める」は間違えて実行されても被害が広がらないから、広げる順番の最初に置く、という理屈だった。その晩、エージェントに実装させた。
この自動売買が使っているのは、米国の株価指数に連動するETF(上場投資信託。複数の銘柄をまとめて1つの株のように売買できる金融商品)を対象にした戦略だ。短期と長期の移動平均線が交差するタイミングを月に一度だけ見て、「持つ」か「全部降りる」かを切り替える。強気相場では単純な買い持ちに負けるが、暴落が来たときに先に降りることで損を小さくする、保険のような性格の戦略で、この戦略が存在する理由はそこにある。
次の朝、この理屈が崩れた。読ませたレビューが実装そのものを攻撃の道具になり得ると指摘し、その指摘を追いかけているうちに、緊急停止が買いだけでなく売りまで止めていたことが分かった。Halt(「止める」)が、いちばん降りたい瞬間に、まさに降りるための売りまで止めていた。
同じ向きの間違いは、その日のうちにあと3つ見つかった。境界値を確かめるテストからは、もっと危ない穴も出てきた。ここから書くのは、模擬口座(ペーパートレード)の中で起きたことで、実弾はまだ動かしていない。直したその夜に、模擬口座の本物の注文で確かめ、3日後には全部売る注文まで広げた。

「止める」は安全だと書いた計画を、その晩に実装させた
証券口座を操作できるパソコンには、通知を扱うチャット受け口がある。予定を知らせたり通知を黙らせたりする指令を送れる仕組みで、口座を触る指令は長らく一つも実装していなかった。
9月20日の記事では、この受け口に次に足すものの順番を決めた。指令を足すときは、破られたら何が起きるかで並べる。通知を止める指令はすでにある。次に足すべきは口座の発注を止める指令で、間違って実行されても被害が広がる方向には効かない。だから広げる順番の最初に置く、というのがそのときの理屈だった。
その晩、エージェントにこの指令を実装させた。指令が受け口に届くと、証券口座のコード側にすでに用意してあった停止の仕組みを呼び出すだけの実装で、受け口の文字列がコマンドラインやシェルに触れる経路は作らなかった。指令を一つ増やすたびに、それまで積み上げてきた3層の守り——登録した相手以外は無視する、決まった指令しか実行できない、任意のコマンドを実行する経路を持たない——が、その指令でも効くかを確かめ直す手順も踏んだ。
ここまでは記事に書いた計画どおりだった。翌朝、この計画の土台にあった理屈そのものが崩れた。
外部レビューの指摘と、私の指摘は別の話をしていた
実装した指令を、私は別のAIエージェント(ブラウザ経由で動くGemini)に読ませてレビューさせた。返ってきた指摘はこうだった。
> 停止の指令そのものが、強力な「サービス拒否」攻撃になる。攻撃者が資金を引き出せなくても、いちばん発注が必要なタイミングでシステムを機能不全に陥れる
一読して、指摘の中身より先に引っかかったことがあった。これは下書きでエージェントが立てた理屈と、話がかみ合っていない。
下書きが主張していたのは、仕組み自身が誤作動したり壊れたりしたときに被害を広げない、という機能安全の理屈だった。異常が起きたら装置を「安全な状態」に倒す考え方で、この理屈の下では緊急停止は誰でもすぐ押せるほうがよいとされる。レビューが指摘していたのは、悪意ある第三者から仕組みを守る、サイバーセキュリティの理屈だった。こちらは入口を絞り、迷ったら拒否するのが基本で、押しやすい停止スイッチはそのまま攻撃の道具になる。同じ「止める」という言葉を使いながら、守ろうとしている相手も、失敗の形も違っていた。
私は機能安全とサイバーセキュリティ、両方の監査資格を持っている。それでも下書きを書いた時点では、この二つを混ぜて、同じ物差しで測っていたことに気づいた。
ぶつかっていたのはここだった。機能安全の目で見れば、緊急停止は誰でもすぐ押せるほうが正しい。セキュリティの目で見れば、押しやすい停止はそのまま「サービス拒否」攻撃の道具になり、レビューが指摘したのはまさにこちらだった。いちばん発注が必要な瞬間にシステムを止められてしまう、という指摘だ。さらにもう一段、止めた先は本当に安全な状態なのか、という問いが残っていた。自動売買では「全部止める」が安全とは限らない。持ち高を降りられなくなる分だけ、危険が積み上がる。
AIの説明が足りなかった場所: 「危ない」とは教えてくれたが、「なぜ危ないか」の本体は教えてくれなかった
レビューの指摘だけを読むと、悪意ある第三者から仕組みを守る話に見える。実際に効いていたのはもっと単純な話で、緊急停止のコードそのものが、買いと売りを区別せず両方を止めていた、という実装の中身だった。それはレビューの指摘そのものではなく、指摘をきっかけに私がコードを読み直して見つけたことだった。
読み直して分かったのは、この停止の仕組みが、証券口座のコードにあった別の判断と正反対を向いていたことだった。
買いにだけ掛けていた上限と、緊急停止は正反対を向いていた
証券口座に発注するコードには、金額そのものに絶対的な上限を掛ける仕組みが、以前から入っていた。この上限は買う方向にだけ掛かっている。値上がりで上限を超えてしまった建玉に、売る方向にも同じ上限を掛けると、その建玉を閉じられなくなる。そういうコメントが、コードの中にすでに書いてあった。
ここで起きた事故: 緊急停止が、いちばん降りたい瞬間に売れなくしていた
ところが緊急停止だけは、この考え方から外れていた。エージェントが実装した緊急停止は、買いも売りも区別せず両方とも却下していた。
この戦略の存在理由は、まさにここにある。優位性のほとんどは過去の下落局面に集中していて、下げ相場のときに持ち高を減らして降りることが要になる。緊急停止を打つと、まさに降りるべきその瞬間に、売る注文まで止まってしまう。止めたことを忘れたまま損切りの水準に達すれば、安全のつもりで置いたブレーキが、いちばん大きな損失の原因になる。
これに気づいたその朝のうちに、直した。エージェントに緊急停止の判定を直させ、買いだけを止め、売りは通す形に変えた。上限の値は一つも動かしていない。掛ける向きだけを変えた。
機能安全の立場に立って、「安全な状態」を定義し直したことになる。止めるのは買いだけで、持ち高を減らす売りは通す。これでセキュリティ側の懸念も同時に消えた。停止の指令を誰かに悪用されても、降りる注文までは止まらないので、いちばん発注が必要な瞬間にシステムが機能不全に陥ることはない。二つの物差しをそれぞれ少しずつ削って折衷したわけではなく、安全な状態の置き方を直したら、両方の物差しをそのまま満たせた。それでも完全には両立しない部分は残っていて、売りまで止めるもっと強い停止は、対話での確認を必須にし、チャットの受け口からは呼べないままにしてある。ここはセキュリティ側に倒した。
同じ向きの間違いが、その日のうちにあと3つ見つかった
一つ直したところで終わりにしなかった。証券口座のコードには、資産に対する割合ではなく、金額そのものに上限を掛ける仕組みが他にもいくつかあり、それぞれ買いと売りのどちらに掛けているかを一つずつ確かめ直した。
同じ性質の上限は、緊急停止を含めて全部で6つあった。うち2つ——金額そのものの絶対上限と、建玉そのものの上限——は、すでに買いにだけ掛かっていて、以前のレビューで直してあった。緊急停止のほかに問題があったのは、残る3つだ。当日の損失に応じた上限、その日に出せる発注の回数の上限、台帳とブローカーの残高が食い違ったときの上限で、どれも買いと売りを区別せず両方に同じように掛かっていた。
当日の損失に応じた上限では、下げが大きい日ほど全部を売る注文が却下されるという、いちばん悪い向きの挙動を実際に確かめた。下落が大きくなるほど降りられなくなる仕組みを、安全装置のつもりで置いていたことになる。発注の回数の上限では、その日の発注を使い切ってしまうと、降りる注文まで出せなくなっていた。台帳の不一致では、端数がわずかにずれているだけで、手で直すまで全部売る注文が通らなかった。
迷った場所: 売り側にも、もっと緩い上限を掛けるべきか
売りを完全に無制限にしてよいものか、直しながら迷った。緩い上限を新しく置けば、同じ間違いを大きい数字でやり直すだけにも見える。実際、その日ここまで見つかった間違いは、閾値の大小ではなく向きの問題だった。
売りを無制限にしても野放しにならないのは、暴走する売りが別の仕組みで構造的に止まるからだ、とエージェントは説明した。売る数量はブローカー側の実際の保有から計算するので、繰り返すほど0に近づいて自然に止まる。同じ内容の売りは重複として弾かれる。持っている数を超える売りは、保有数そのものを上限として却下する。売りが行き着く最悪の場所は「持ち高が0になる」ことで、それは緊急停止の間でも元から許している状態と同じだ。降りられないことのほうが、桁違いに高くつく。
台帳の不一致で採った規則も同じ考え方だった。どちらの数字が正しいか分からなくても、売れる数量については分からなくない。実際に売れるのはブローカーが把握している分だけなので、ブローカー側の保有を上限として売りは通し、それを超える分だけ却下する。台帳の側が正しいかどうかで場合分けする必要は無くなった。
ただし、上限を外した分は黙って通さないことにした。上限に触れたのに発注が通ったときは、通知と記録に必ず残す。無制限にすることと、気づかずに放置することは別だ。
テストが、このバグを「正しい挙動」として守っていた
直している途中で、いちばん悪かった事実に気づいた。当日の損失に応じた上限には、「緊急停止中の売りにも、この上限が効く」ことを確かめるテストが、すでに存在していた。
そのテストを書いたのはエージェントで、しかも前日に書かれたものだった。向きの間違いを実装したエージェント自身が、その間違いを「意図どおりの挙動」として固定していたことになる。テストが緑のままだったのは、意図した通りに動いている証拠であって、その意図そのものが正しい証拠ではなかった。
向きを変えるときは、値を変えるとき以上に、その判定を守っているテストまで一緒に疑う必要がある。
境界値を確かめさせたら、もっと危ない穴が3つ出てきた
上限の向きを直したあと、エージェントに境界値と異常な入力のテストを書かせた。ちょうど上限に当たる値、その一つ上、一つ下を、買いと売りの両方で実際に動かして確かめる作業だった。ここから、向きの話とは別の穴が3つ見つかった。
一つ目は、数量に nan(Not a Number。計算が壊れたときに出る「数ではない値」で、どんな大小比較をしても「偽」になる)が入った注文が、どの上限にも引っかからずに通っていたことだった。上限の判定はどれも「以下なら通す」「超えたら止める」という大小比較で書かれていたが、nanが混ざった大小比較は常に成立しない。0以下かどうかも、上限を超えたかどうかも、比較そのものが一度も真にならないので、結果として何にも引っかからずに素通りしていた。
二つ目は、緊急停止のファイルがあるかどうかを確かめる関数の中身だった。この関数は、権限が無くてファイルを読めない状態を「ファイルが無い」と同じ結果で返していた。緊急停止のファイルを読む権限を誰かが奪えば、止めたつもりのまま「止まっていない」状態になる。
三つ目は、受け口が停止の仕組みを呼び出す経路そのものにあった。この経路は、停止のコードが置いてある場所を検索対象に追加してから読み込む作り方をしていて、追加の仕方が「後ろに足す」形だった。もし同じ名前の偽の停止コードが検索の手前に置かれていたら、そちらが先に読まれる。
AIが正確だった場所: 別のAIエージェントが、偽の停止コードで実際に乗っ取れることを再現して見せた
三つ目の穴は、レビューを担当したエージェントが指摘し、実際に偽の停止コードを置いて、本物の代わりに読み込まれることを再現して見せたものだった。指摘だけでなく、再現できることまで示された。エージェントに直させ、検索対象に追加する順番を先頭に変え、読み込んだものが本当に想定した場所のコードかどうかを、パスを見て確かめる処理も加えた。
nanの穴と、権限エラーの穴も直した。数値の検査は、まず有限な数かどうかを確かめてから大小比較に進む順番に変え、入口で弾いたものはその先の判定に進ませないようにした。ファイルの有無を確かめる処理は、読めないことと無いことを区別し、読めないときは「無い」ではなく「判断できない」として扱い、止まっていない可能性をそのまま黙らせないようにした。
こうして直したものが実際に効くかどうかは、動かしてみるまで分からない。
緊急停止中の本物の売り注文が、模擬口座の板まで届いた
念のため書いておくと、ここから先はすべて模擬口座(ペーパートレード)の中の出来事である。実弾の口座では、まだ一切動かしていない。
直したその日の夜、平日の夜ごとに走らせている検証の仕組みが、初めてこの直した部分を含めて動いた。緊急停止のファイルを実際に作り、その状態で買いの注文を出すと、狙いどおり却下された。次に、同じ緊急停止の状態のまま、一株だけの売り注文を出した。
売り注文は却下されず、模擬口座の板まで実際に届いた。届いたことを確認したあと、その注文を取り消し、取り消しも成功した。買いは止まり、売りは通る。直した理屈が、文章の上ではなく、実際の注文として確かめられた瞬間だった。
3日後、同じ確認を、持っている分をすべて売る注文にまで広げた。緊急停止の状態のまま全建玉を売る注文を出すと、これも却下されずに板まで届いた。買いの注文は、同じ緊急停止の下であらためて却下された。
保有している数を超えて売ろうとする注文——実質的な空売りにあたる注文——も確かめた。これは実際に口座へ出すと本物の空売りになってしまうので、判定の層だけに実際の保有数を渡して確かめた。判定は、保有している数までは売りを通し、それを超える分は「保有数を超える売り」として却下した。
「止める」の向きは、平常時の理屈では決められない
Halt(「止める」)は、安全だとは限らない。
エージェントは「『止める』は被害が広がらないから先に置く」と書いた。その理屈は、通知を止める指令については正しかった。だが同じ理屈を、証券口座の発注を止める指令にそのまま当てはめたとき、間違っていた。止める先が違えば、止めることで失われるものも変わる。機能安全とサイバーセキュリティは、多くの場面では手を組めるが、緊急停止のように物差しごと逆を向く場所がある。直す前に、いまどちらの話をしているのかを決めないと、直したつもりでもう一方の穴を空ける。
緊急停止のスイッチをどちら向きに倒すかは、平常時の理屈では決められない。平常時なら、想定外の入力を受け付けないことは正しい振る舞いだ。だが緊急停止を打つのは、たいてい何かがおかしくなって焦っている場面で、そこでは止まらないこと自体が被害になり得る。止めた結果、何ができなくなるかを、被害の大きさで並べてから、向きを決める必要がある。
理屈を立てたのも、実装したのも、境界値のテストを書いたのも、乗っ取りを再現したのも、エージェントだった。二つのレビューが別の話をしていると見抜き、正反対を向いていた実装を差し戻したのは私だ。止める仕組みを作るたびに、この順番は省かない。作った直後の理屈は、エージェントが書いたものでも私が書いたものでも、そのまま信用しない。
【PR】Amazonのオーディオブック【Audible】
通勤や家事の時間に、本やポッドキャストを耳で聴けるサービスです。いまはプライム会員向けに、最初の4か月が月額99円になるキャンペーンが出ています(2026年10月19日まで)。適用条件と料金は公式ページで確認してください。
【PR】AIエージェントの作り方を学べる本
この記事の多くはClaude Codeを使ったAIエージェント開発の中から生まれています。仕組みから学びたい方はこちらもどうぞ。
※Amazonのアソシエイトとして、当サイトは適格販売により収入を得ています(広告)