
指数バックオフで「ブラウザ自動化が突然止まる」問題を解決した話
📌 はじめに:「なぜか動かない」の犯人はほぼ「タイミング」だった
ブラウザ自動化スクリプトを動かしていると、「なぜか今日は動かない」という日があります。昨日まで動いていたのに、今日はエラーで止まる。ログを見ても「要素が見つかりませんでした」とだけ書いてある。
特定のサイトでは、ページ読み込みが遅い日と速い日があります。JavaScriptで動的に表示される要素(ログイン後に出てくるボタンなど)は、スクリプトが「ここにあるはず」と思ってクリックしようとした瞬間にまだ表示されていない、ということが起きやすい。
こういう「タイミング起因のエラー」に対して、「ちょっと待ってもう一度試す」という仕組みを体系的に整えたのが shared/robust-wait モジュールです。AIに「セレクタを待機する時、失敗しても賢くリトライする関数を作って」と頼んだらできました。
🔍 「ただ待つ」だけでは不十分だった理由
最初は page.waitForSelector(セレクタ, { timeout: 10000 }) というPuppeteerの標準機能を使っていました。「10秒待って、見つからなければエラー」という動作です。
これでも多くのケースはカバーできますが、問題がありました。
問題1: タイムアウトの「10秒」は根拠がない
10秒にしたのは「なんとなく十分そう」という感覚。実際には3秒で見つかることも、15秒かかることもある。
問題2: 1回失敗したらそのまま終了してしまう
「9秒999ミリ秒待ったのに見つからなかった」という場合、もう1秒待てば見つかったかもしれない。でもそのまま処理が止まってしまう。
問題3: エラーのたびに手動で再実行が必要
夜中に自動実行しているスクリプトが「タイムアウト」で止まっていたことに気づくのは翌朝。
この3つを解決するために、「指数バックオフ付きリトライ」という仕組みを作ることにしました。
🛠️ 「指数バックオフ」という考え方(AIに聞いたらこう教えてくれた)
「指数バックオフ」という言葉、AIに「どういう意味?」と聞いたら教えてくれました。
「失敗するたびに待ち時間を指数的に増やしていく方式です。例えば1回目が1秒待ち、2回目が2秒、3回目が4秒、4回目が8秒……というように、待機時間を倍々にしていきます。最初は短く試して、ダメなら徐々に長く待つ、という設計です」
なるほど。急いで何度も試すより、少し時間をおいてから再試行する方が、「ページの読み込みが遅かっただけ」という一過性の問題には効果的です。
AIが作ってくれたコードのデフォルト設定はこうなっていました:
- 最大リトライ回数: 5回
- 初期待機時間: 1,000ms(1秒)
- 最大待機時間: 10,000ms(10秒)
- 全体タイムアウト: 30,000ms(30秒)
1回目は1秒待って再試行、2回目は2秒、3回目は4秒、4回目は8秒、5回目は10秒(上限)。合計で5回試して全部ダメだったら諦める、という設計です。
⚠️ 「何回でもリトライ」は危険だった
最初、「何回でもリトライし続ければいい」という設計を考えました。でもAIに「これで問題ない?」と確認したら、問題を教えてくれました。
「リトライ回数に上限がないと、サイト側に異常なアクセスとして検知されるリスクがあります。また、根本的にセレクタが間違っている(サイト構造が変わった等)場合に、永遠にリトライし続けて処理が止まらなくなります」
それで「必ずどこかで諦める」という上限を二重に設けることにしました。実際のコードでは maxRetries = 5(最大5回まで)という回数の上限に加えて、全体タイムアウトも30秒で設定されているので、どちらかが先に来た段階で処理が終わります。「頑張ってリトライはするが、いつまでも粘らない」という設計です。
5回試してダメだったエラーは、単純な「もう少し待てばよかった問題」ではなく「何か根本的な問題がある」と判断できます。そこでアラートを上げて人間が確認する、というフローに自然につながります。
📝 おわりに:「賢くリトライする」設計の価値
この robust-wait モジュールを共通ライブラリ(shared/)に置いて、全ブラウザ自動化スクリプトから呼び出せるようにしました。
これ以降、「今日はなぜか動かない」という問題が大幅に減りました。ほとんどのケースはページ読み込みのタイミング問題だったので、少し待って再試行するだけで解決する。
「失敗=即終了」から「失敗=賢く待って再試行、それでもダメなら止まる」への設計変更は、ブラウザ自動化の安定性を劇的に改善しました。
次回は、5つの副業プラットフォームを実際に使って分かった「集客モデルの選び方」について話します。MENTA・クラウドワークス・ここなら・Lancers・Fiverrを実際に稼働させた記録です。
Claude Code実践記|非エンジニアの全自動化 では、AIと対話しながら業務自動化を進める実践記録を公開しています。フォローいただくと最新記事をお届けします。
#ClaudeCode #AI自動化 #ブラウザ自動化 #Puppeteer #Playwright #非エンジニア #全自動化実践記 #リトライ設計 #エラーハンドリング #業務効率化 #自動化 #GCP #堅牢化 #バックオフ #AIとやってみた #副業自動化 #エラー対応 #設計パターン #実装設計