メインコンテンツへスキップ
見出し画像

【実録】自動投稿が『突然止まる』理由——ブラウザの『名乗り』を変えたら直った話

    9月の中旬、僕が毎日実行している自動投稿パイプラインが動かなくなりました。何もいじってない。エラーメッセージもない。毎朝きちんと記事を投稿していたのに、ある朝から——何もしない。デバッグログを開く、何も出ていない。スクリプトを見る、変わっていない。ネットワークは動いている。でもnoteへのアクセスだけが「繋がっている、でも何も起こらない」という奇妙な状態に陥りました。その日の朝、僕は「これは何か、仕組みの根本で弾かれている」と予感しました。原因は、ブラウザが自分のことを『HeadlessChrome』と名乗ることでした。半日のデバッグで気づいて、userAgentを直したら、その日のうちに復旧。今日はそのやり取りと、自動化が止まった時のデバッグ方法を書きます。

    何が起きたか:毎朝の自動投稿が完全に止まった

    背景を説明します。僕は毎日、note に記事を自動投稿しています。生成した原稿から、見出しを打ってから投稿まで——全部プログラムが自動でやります。外部サーバには置かず、セッション内で走らせているので、このセッションを開く度に「今日の1本」が投稿される設計です。つまり僕が毎朝このセッションを開くだけで、投稿は走ります。

    それが9月15日くらいから、投稿コマンドが「しゃべらない」状態になりました。実行する。待つ。何も返ってこない。タイムアウトする。何度やっても同じ。スクリプトのログを見ても「noteへのアクセスをしようとしたまま止まっている」という状態。つまりnoteへの接続はできているっぽいけど、その先で何かに引っかかっている。

    最初の仮説:noteの仕様が変わった

    最初、僕は「noteが何か変えたんだろう」と思いました。ログイン画面? エディタのDOM構造? ボタンのセレクタ? でも待ってください。何もいじってない期間が2週間あったはずです。なぜ2週間放置できたのかというと、別のタスクで手が離せていたから。でも其の間に noteは毎日アップデートしているかもしれません。

    ブラウザの画面を開くようにスクリプトを変えてみました。headless=false に。すると、ブラウザが開いて、noteのサイトが読み込まれて、そこまでは成功。でも投稿フォームの入力のところで——何かが引っかかって、先に進まない。でも画面なしの時と同じ状態。つまり問題はDOM変更ではなく「noteが何か新しい検査をし始めた」のだろう、と考えました。

    真犯人:ブラウザが『HeadlessChrome』と名乗っていた

    ブラウザが何かに引っかかっているなら、ブラウザ自身が検査されているのでは? と思いました。noteは、自動化ツールによる無限ループの投稿や、スパムの自動投稿を防ぎたいはず。そこで、ブラウザにアクセスしてくるクライアントが『本当のブラウザか、自動化ツールか』を判定する仕組みを入れていないか。

    ブラウザが自分のことをどう名乗るかは、userAgent という情報で分かります。僕のスクリプトは画面なし(headless)で動くので、ブラウザの userAgent が『Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/XX.X.XXXX.XX Safari/537.36』みたいに「HeadlessChrome」と明記されていました。

    noteが「HeadlessChrome という名乗りのアクセスは、人間じゃなくてロボットだな。ブロックしよう」と判定していたんです。ブラウザの DevTools を開いて userAgent をいじってみたら——即座に解決。headless モードのまま、userAgent だけ『Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36』という「通常のブラウザ」名乗りに固定したら、投稿が走りました。

    なぜ「HeadlessChrome」を名乗っていたのか

    スクリプトを書いた時点では、デフォルトの userAgent が使われていました。つまり、ブラウザ自動化ツール(Puppeteer)は「自分はHeadlessChromeです」と毎回自己紹介していた。その当時は、noteはそれを引っかからせていなかった。でも どこかのタイミングで——おそらく8月末から9月初めに——noteが自動化ツール対策を強化したんだと思います。

    実際に僕のデバッグログを見返してみると、8月末までは毎日「投稿成功」のログが出ています。9月15日からパッタリ止まっている。つまり noteの検査は「急に来た」のではなく「ある時点でnoteが自動化対策を始めた」のに、僕のスクリプトがそれまで気づかなかっただけ。

    教訓:自動化が止まった時のデバッグ 5 ステップ


    画像

    今回のケースから、自動化スクリプトが止まった時のデバッグ方法を一般化してみました。同じ問題に当たった時の見直しリストです。

    ステップ1:スクリプトの変更を確認する — 「何もいじってない」と思っても、ライブラリのアップデート、OS のアップデート、システムライブラリの変更が背景で起きていないか確認。git log で直近の変更を全部見る。

    ステップ2:スクリプトのエラーログを全部出す — 「タイムアウト」「接続失敗」「エラーなし」の3種類に分類。特に「エラーなし」で止まるケースは、相手(noteなら note)側で「接続したけど処理しない」という判定をされている。

    ステップ3:画面を出して動かしてみる — headless=false に、ブラウザウィンドウを表示させる。「プログラムからは見えないが、目で見たら分かることがある」。特に、ブラウザが「何かに引っかかって止まっている」状態が見える。

    ステップ4:相手(アクセス先)の検査を疑う — 相手がアクセス元をチェックしていないか想定。IP アドレス、userAgent、ブラウザの言語設定、Referer ヘッダ、Cookie の有無など。特に自動化対策(ロボット判定)をしているサイトなら、ブラウザの自己紹介情報を見直す。

    ステップ5:DevTools で実際の HTTP リクエストを見る — Chrome DevTools を開いて、Network タブでどんなリクエストが走っているか確認。ステータスコード(200 なのか 403 なのか)、レスポンスヘッダ、返ってきた HTML が何も返ってないのか、エラーページなのか——全部が手がかり。

    実装の工夫:userAgent をスクリプトで固定値にした


    画像

    僕の場合は、ステップ4で「相手の検査」を疑ったタイミングで、ステップ3のブラウザ画面で DevTools を開いて userAgent を見てみました。そこで「HeadlessChrome」を発見。その後は、スクリプトの起動時に userAgent を固定値で指定するようにコード化しました。

    ```

    const browser = await puppeteer.launch({

      headless: true,

      args: ['--no-sandbox']

    });

    const page = await browser.newPage();

    await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36');

    ```

    この1行を加えるだけで、noteだけでなく、他の自動化対策をしているサイトでも「このスクリプトは人間のブラウザから来ている」と認識させられます。実装は数秒で終わったけど、デバッグ時間は半日かかりました。デバッグ時間を短くするコツは、最初から「相手は自動化を検査しているかもしれない」と疑うことでした。

    まとめ:自動化は『見えない検査』と戦う

    自動化スクリプトが止まる理由は、単純に「コードが間違ってる」だけじゃなく、相手サイトが自動化ツール対策を始めたり、強化したりすることもあります。noteの場合、ブラウザの自己紹介ひとつで引っかかってました。

    ・自動化が突然止まったら、スクリプトの変更より「相手の検査」を疑う

    ・ブラウザが何て名乗っているか(userAgent)を確認する

    ・「何もいじってない」という思い込みより、ログとbrowserの画面を見る

    自動化のデバッグは、機械の中と機械の外の両方を見ないと進みません。今回のケースは「外の検査に気づくまでが時間がかかった」。最初から「noteが自動化を検査しているなら、その検査を通すにはどうするか」と考えていたら、DEVTools を開く時間を短くできたはずです。

     
     
    エンジニアではありません。経営コンサルとして培った「仕組みで回す」発想を、AIに実装させる側に回っています。 日々の業務・資料・意思決定の仕組みをAIと一緒に作り、うまくいった話も壊れた話もそのまま書きます。

    あなたへのおすすめ