メインコンテンツへスキップ
見出し画像

Playwright、Puppeteer、Camoufox──AIに使わせていいブラウザはどれか

    「Playwright使ってるのに403が返ってくる」「ヘッドレスにしたらCAPTCHA出まくる」「Seleniumで動いてたのに急に動かなくなった」

    このへんで詰まってこの記事にたどり着いたなら、あなたはいいタイミングでここにいる。

    スクレイピングの世界には、誰もちゃんと教えてくれない知識の断絶がある。BeautifulSoupで静的サイトを取れるようになって、次にJavaScriptで動くサイトに挑んでPlaywrightを使い始めた。そこから先に壁があって、みんなそこでふわっとしたまま止まっている。

    AIエージェントにWebを操作させようとしている人も同じ壁にぶつかっている。フレームワークのデフォルト設定で動かしてみたら弾かれた、でも理由がわからない、という状態だ。

    その壁の正体を、今日ちゃんと説明する。

    あなたが「弾かれた」理由は、思っているのと違う

    多くの人が「ヘッドレスブラウザがバレた」と思っている。半分正解で、半分間違いだ。

    正確に言うと、バレているのは「ブラウザを使っていない」ことではなく、「あなたのブラウザが本物のブラウザらしくない」ことだ。これは全然違う問題で、解決策も全然違う。

    BeautifulSoupやrequests.getの段階では、そもそもブラウザをまったく使っていない。HTMLを取得しているのはただのHTTPクライアントだ。お店に例えると、入口の前に立って「今日のメニューはなんですか」と叫んでいるようなものだ。ブラウザというのはお店に入って席に座り、メニューが読み込まれるまで待って、ウェイターを呼ぶまでの一連の動作をこなす存在に相当する。

    JavaScriptで動くサイト、ReactやVueで作られたSPAでは、席に座ってメニューが読み込まれるまで待たないと中身が見えない。だからPlaywrightやPuppeteerが必要になる。ここまでは多くの人が知っている。

    問題は次からだ。


    お店に入れた。でも弾かれた。なぜか。

    Cloudflareをはじめとするアンチボットシステムは、「ブラウザを使っているかどうか」より先に「あなたが何者か」を見ている。

    パスポートコントロールをイメージしてほしい。パスポートを持っていれば入国できる、ではなく、紙質、インクの特性、スタンプの整合性、持ち主の顔との一致まで検査されている、そういうイメージだ。

    現代のアンチボット検出には、大きく4つの壁がある。

    ・第1の壁:IPアドレス。AWSやGCPのデータセンターIPは、それだけで信頼スコアが下がる。どれだけ精巧なブラウザを使っていても、出口IPがクラウドのレンジなら警戒される。

    ・第2の壁:TLSフィンガープリント。最も重要で、最も知られていない層。この後で詳しく説明する。

    ・第3の壁:JavaScriptが見るブラウザ環境。Playwrightで動かしたChromeは、`navigator.webdriver`という変数がtrueになっている。これは「私は自動化されたブラウザです」と自己申告しているようなもので、多くのサイトが真っ先にここを確認する。

    ・第4の壁:行動パターン。マウスがどう動くか、クリックの間隔、スクロールの速度、ページ滞在時間。人間と機械では動き方が根本的に違う。

    4つ全部に対処しないと、保護レベルの高いサイトは突破できない。Playwrightを使っていても弾かれるのは、第2の壁か第3の壁(あるいは両方)に引っかかっているからだ。


    TLSフィンガープリントの正体

    HTTPSで通信するとき、ブラウザとサーバーは最初に握手をする。この握手の最初のメッセージを「ClientHello」という。

    このClientHelloには「自分はこの暗号方式が使えます」「この順番で優先します」「こんな拡張機能に対応しています」という情報がびっしり入っている。そしてこの情報の組み合わせと順序が、ブラウザの種類によって非常に一貫したパターンを持つ。

    ChromeのClientHelloはChromeらしく、FirefoxはFirefoxらしく、SafariはSafariらしい。この「らしさ」をJA3やJA4というフィンガープリント値として数値化し、CloudflareはそれをリアルタイムでDNSを経由するすべての接続に対して照合している。インターネット全体の20%以上のサイトがCloudflare配下にある。

    Pythonのrequestsが送るClientHelloはOpenSSLの素の実装だ。Node.jsのfetchはまた別のパターンだ。どちらも実在するブラウザとは全く異なる「顔」をしている。Cloudflareはこれを握手の最初の瞬間に見抜く。ページのコンテンツが返ってくるはるか前の段階で、すでに判定は終わっている。

    重要なのは、Playwrightを使っていてもこの問題が起きうることだ。Playwrightを通じて操作しているのは確かにChromeだが、途中に変なプロキシを挟んだり、カスタムのHTTPクライアントを経由させると、TLSの「顔」が変わる。ブラウザを使っているということと、ブラウザとして認識されることは、別の問題だ。

    なぜPythonやJavaScriptでTLSを偽装するのが難しいかというと、暗号スイートの順序やGREASEと呼ばれるランダムな予約値の生成ロジックは、アプリケーションコードから細かく制御できる設計になっていないからだ。これはTLSライブラリの実装レベルの話であって、いくらコードを工夫しても届かない領域だ。本格的なスプーフィングはC++やRustでTLSスタックそのものに介入する必要がある。


    ツールの特性と、誰に向いているか

    Playwright / Puppeteer

    画像
    高度なTLSフィンガープリント分析により、偽装ブラウザが検出される

    ほとんどのケースで出発点になるツールだ。ChromiumまたはFirefoxをヘッドレスで操作でき、クリック、フォーム入力、画面遷移など、人間がブラウザでやることは一通りできる。

    Cloudflareが入っていない、あるいは軽めの保護しかないサイトならこれで十分なことが多い。`playwright-stealth`などのパッチを組み合わせると、`navigator.webdriver`を隠すなどJS層の対策ができる。

    ただしTLSフィンガープリント層までは対処できない。強い保護が入ったサイトを本格的にターゲットにするなら、いずれ限界が来る。AIエージェントのブラウザとして素のPlaywrightを使うと、Linkedin、Amazon、X(Twitter)などの多くの商用サービスで弾かれる場面が増える。

    curl-cffi(Pythonのみ)

    画像
    そもそもJavaScriptを実行するエンジン自体を持っていない

    ヘッドレスブラウザを立ち上げるほどではなく、かつTLS層だけ対策したいケース向けの選択肢だ。libcurl-impersonateをベースにしており、Chromeが実際に送るClientHelloをある程度模倣できる。requestsからの移行コストが低く、動作も軽い。

    ただしJSの実行はできないため、SPAには対応できない。静的なコンテンツをAPIに近い感覚で取得したい場合の軽量な武器として持っておくとよい。

    Camoufox + camofox-browser

    画像
    住宅用IP(レジデンシャルプロキシ)であれば、全ての防壁を通過する

    Camoufoxはdaijro氏が開発したFirefoxのフォークで、フィンガープリントスプーフィングをC++実装レベルで行う。`navigator.hardwareConcurrency`、WebGLレンダラー、AudioContext、スクリーンジオメトリ、WebRTCといった値を、JavaScriptが実行される前の段階でブラウザエンジン自体が偽の値を返す構造にしている。

    ここが重要なポイントだ。後付けでJavaScriptを注入して値を書き換える方法では、その書き換え自体が検出されうる。`Object.getOwnPropertyDescriptor`を使えば、後から上書きされたプロパティかどうかが判別できる。ブラウザエンジンが最初から偽の値を返すなら、その痕跡は残らない。

    camofox-browserはjo-inc(YC W24)がこのCamoufoxエンジンをAIエージェント向けにREST APIとしてラップしたものだ。

    ここで特筆すべき設計がある。AIエージェントにブラウザを使わせるとき、取得したHTMLをそのままLLMに渡すアプローチでは大量のトークンを消費する。Webページの生HTMLをそのまま読ませると、数万トークンに及ぶこともある。camofox-browserはHTMLではなくARIAベースのアクセシビリティスナップショットを返す設計になっており、トークン量を通常の約10分の1に抑えられる。しかも`e1`、`e2`のような安定した要素参照を返すため、ページが少し変わっても操作の精度が落ちにくい。

    LLMエージェントが「読む」のに適した形でブラウザの出力を返すという設計は、Playwright + Browser-Useのような組み合わせが今まさに模索している問題に対して一つの答えを出している。

    Camoufox自体はまだ完璧ではない。開発者自身が「すべてのフィンガープリントポイントに対応できているわけではない」と認めており、アンチボット側はCamoufoxを研究して新たな検出手法を開発し続けている。それでもJS注入系の対策と比べると検出されにくさは段違いで、IP評価以外の層への対策として現時点で最も本格的な実装だ。

    Lightpanda

    画像
    高度なTLSフィンガープリント分析により、偽装ブラウザが検出される

    Zigで書かれた高速なブラウザエンジンで、メモリ効率と起動速度が売りだ。技術的な方向性は面白いが、JS互換性がまだ限定的で、フィンガープリンティングへの対策は実装されていない。商用サイトのスクレイピングには現時点では使わない方がいい。


    どれを選べばいいか

    整理するとこうなる。

    対象サイトに商用アンチボットが入っていないなら、Playwrightで十分。stealth設定を入れておくと安心感が増す。

    対象サイトがCloudflare配下で、動的なインタラクションが必要な場合はCamoufoxを検討する。AIエージェントにWebを操作させる用途なら、camofox-browserがエージェント向けの最適化まで含めてやってくれるため出発点として使いやすい。

    ヘッドレスブラウザを立ち上げるほどではなく、かつTLS層だけ対処したいならcurl-cffi。

    どのツールを選んでも、IPアドレスの問題は別に残る。データセンターIPを使い続ける限り、どれだけ精巧なフィンガープリントを持っていても検出される可能性は消えない。本格的な運用では住宅用IPのプロキシ(レジデンシャルプロキシ)の利用が現実的な選択肢になる。


    最後に──

    そもそもスクレイピングが必要なのか、立ち止まって考えてほしい

    ここまで読んでくれた人に一度だけ冷や水を浴びせる。

    取ろうとしているデータに公式APIは存在しないか。公開フィードやデータエクスポート機能はないか。そこを確認してからでも遅くない。スクレイピングはしばしば、存在するAPIに気づいていないことへの回り道だ。

    そして利用規約。スクレイピングを明示的に禁じているサイトの保護を突破することは、技術的な問題である前に法的・倫理的な問題になりうる。日本でも不正競争防止法や著作権法が絡んでくるケースがある。「できるかどうか」と「やっていいかどうか」は別の問いだ。

    それらを確認した上でなお必要なら、今日の話が役に立つはずだ。

    弾かれる原因を正しく診断できれば、解決策は自ずと見えてくる。

    あなたへのおすすめ