メインコンテンツへスキップ
見出し画像

n8nとPuppeteerでブラウザ自動化|ノーコードスクレイピングの実装方法

    Webスクレイピングの時代は変わった

    Webスクレイピングというと、かつてはPythonでBeautifulSoupを書いたり、Seleniumでブラウザを制御したりと、「エンジニア専用」の技術でした。しかし現在は状況が異なります。Webスクレイピングの自動化は、現代のビジネスに不可欠です。競合価格の監視、コンテンツの集約、リード獲得、リアルタイムデータでAIアプリを駆動する場合でも、Firecrawl と n8n の組み合わせなら、プログラミング知識なしで強力なソリューションを実現できます。

    n8nというノーコード自動化ツールと、Puppeteerというブラウザ操作ライブラリの組み合わせにより、コードを書かずに高度なスクレイピング自動化が可能になったのです。

    意外に知られていない:ブラウザ自動化の進化

    Puppeteerは従来Chromiumのみをサポートしていましたが、現在はFirefoxにもWebDriver BiDiプロトコルで対応しています。また、最新版ではn8nのAIエージェントと統合され、自然言語指示からPuppeteerスクリプトを自動生成する$fromAI()機能や、ファイルダウンロード機能が追加されています。

    実は、スクレイピングの課題は「データ取得」ではなく「ボット対策突破」にあります。特に日本の通信キャリアや不動産サイトは、海外IPやデータセンターIPからのアクセスを厳しく遮断(403 Forbidden)したり、CAPTCHAを表示したりします。単純なHTTPリクエストでは対応できない複雑な要件に対して、n8nとPuppeteerの組み合わせが真価を発揮するわけです。

    ノーコードでできるスクレイピングの3パターン

    スクレイピングの目的によって、最適なアプローチが異なります。

    1. シンプルなデータ取得

    静的なWebページから表を抽出する程度であれば、ScrapingBeeやScraperAPIをn8nのHTTPリクエストノードに直接接続できます。APIキーとURLを設定するだけで動き、追加ノードも不要です。月額$49程度で始められます。

    2. JavaScriptレンダリング対応の本格的なスクレイピング

    ReactやVue.jsで動的に生成されるコンテンツが必要な場合、Puppeteerの出番です。Puppeteerノードを使うと、スクリーンショットやPDF取得、コンテンツ抽出、Webインタラクション自動化ができます。

    3. 複雑な操作が必要なスクレイピング

    ボタンクリックやフォーム入力が必要な場合、CoopelというRPAツールをn8nと連携させると、ノーコードでスクレイピング、フォーム入力、ログイン認証などの操作ができます。

    n8nとPuppeteerを組み合わせた具体的な実装ステップ

    セットアップから実行まで

    Puppeteerをn8nで使うには、まず環境を整える必要があります。n8nバージョン0.187以降であれば、Community Nodesパネルからn8n-nodes-puppeteerをインストールできます。

    自分のサーバー上で運用する場合のおすすめは、Dockerコンテナ化することです:

    bash

    npm install n8n-nodes-puppeteer

    本番環境では、システムChromeをインストールし、PUPPETEER_SKIP_CHROMIUM_DOWNLOAD=true環境変数を設定すると、インストールサイズと依存関係を削減できます。

    n8nワークフロー内での基本パターン

    Puppeteerノードを使う場合、カスタムスクリプト操作を選択し、以下の流れで記述します:

    javascript

    const browser = await $page;
    const content = await browser.goto('https://example.com');
    const title = await browser.evaluate(() => document.title);
    return [ { title: title } ];

    カスタムスクリプト操作では、完全なPuppeteer APIと n8nのCode node機能にアクセスでき、ブラウザ自動化タスク全般で利用可能です。

    実践的な活用例:見落としやすい注意点

    待機時間の設定が成功の鍵

    重要な落とし穴として、ブラウザ操作の自動化では、DOM要素が取得可能なように待機時間の設定をすることが非常に重要です。待機時間を設けない場合、DOM要素指定の処理がうまくいかない場合があります。

    javascript

    await page.waitForSelector('.target-element', { timeout: 5000 });

    const content = await page.$eval('.target-element', el => el.textContent);

    外部ブラウザサービスの活用

    外部のChrome/Firefoxインスタンスに接続する場合、"Browser WebSocket Endpoint"オプションを使用することで、n8nコンテナ内にChromiumをインストールする必要がなくなります。特にクラウドで運用する場合、Browserlessなどのヘッドレスブラウザサービスを利用するのが効率的です。

    スケール時の統合パターン

    n8nから Bright Data 経由で対象サイトへアクセスし、取得した生HTMLをGoogle Geminiに投げて必要な情報をJSON化、Sanity CMSのデータと比較して差分があれば更新、更新時のみSlackに通知する」という完全自動化パイプラインが実例として存在します。

    このパターンなら、ボット対策が厳しいサイトからも安定してデータ抽出でき、かつAIによる抽出精度も確保できます。

    最後に

    Puppeteerとn8nの組み合わせは、エンジニアだけの特権ではなくなりました。競合監視や価格変動の追跡、業界ニュースの自動収集といった実務的なユースケースは、今すぐノーコードで実装できる段階にあります。自動化が必要な業務を見直してみてはいかがでしょうか。

     
     
    AIや自動化ツールの使い方・設定手順を、調べたことの整理を兼ねてまとめています。同じところでつまずいた方の参考になれば嬉しいです。

    あなたへのおすすめ