AIエージェントは黙って壊れる ― 個人運用で見つけた失敗と対策
AIエージェントに日々の作業を任せるようになって、率直に言うと一番怖いのは「思った通りに動かない」ことより「気づかないうちに間違った通りに動く」ことでした。
エラーは出ません。もっともらしい顔をした結果が、静かに返ってくるだけです。
この記事では、個人でAIエージェントの運用を続ける中で実際に見つかった失敗と、そこから作った対策を、具体的な事例つきでまとめます。同じようにAIに作業を任せ始めた人が、同じ轍を踏まないためのチェックリストとして使ってもらえたらと思います。
■ なぜこの記録を残そうと思ったか
最初は「便利になった」という感覚だけでした。文章の下書き、資料の整形、データの整理。任せられる作業がどんどん増えていくのは、単純にうれしいことです。
ただ、任せる範囲が広がるにつれて、少しずつ様子が変わってきました。「間違っている」という結果ではなく、「間違っているのに、正しそうに見える」結果が返ってくるようになったのです。
具体的に何が起きたか、3つ紹介します。
■ 実際に起きたこと(1):全角数字が静かに0になった
数値を扱う作業で、全角数字(120のような表記)を入力したところ、その値がそのまま「0」として処理され、集計結果がずれていたことがありました。
エラーは一切出ません。画面には、それらしい数字が表示され続けます。気づいたきっかけは、たまたま手元の記録と見比べたことでした。見比べていなければ、そのまま気づかなかったと思います。
■ 実際に起きたこと(2):「上限400回」が4年後に静かに破綻する
ある処理に「連続400回まで」という上限を書いたコードがありました。書いた時点では「十分すぎる数字だ」と思っていたのですが、実際の利用期間(4年間)で計算し直すと、単純計算で上限に到達することが後から分かりました。
上限そのものが間違っていたわけではありません。「この上限に、実際の使用でいつ到達するか」を、書いた時点で計算していなかったことが問題でした。
■ 実際に起きたこと(3):2つの場所で同時に開いたら、片方が消えた
同じデータを2つの端末(あるいは2つのタブ)で同時に開いて、それぞれ保存したところ、後から保存した方が、先に保存した方の変更を丸ごと上書きしてしまったことがありました。
これもエラーは出ません。「保存しました」という表示だけが出て、実際には片方の作業がまるごと消えている、という状態です。
■ そこから作った「AIに任せる前のチェックリスト」
この3つに共通しているのは、どれも「エラーが出ない」ということでした。もっともらしい結果が返ってくるので、見比べたり、計算し直したりしない限り、気づく手段がありません。
そこで、次のようなチェックリストを作りました。
数値を扱う処理は、全角入力を正規化してから処理する
上限や制限値を書いたら、「実際の使用でいつ到達するか」をその場で計算する
同じデータを複数の場所で開く可能性がある処理は、後から書き込んだ方が勝つのではなく、競合が起きたことを検知して知らせる仕組みにする
「エラーが出ない」こと自体を安心材料にしない。むしろ、結果を疑う理由にする