メインコンテンツへスキップ
見出し画像

WebスクレイピングPython実践編03:ツールでは取れなかった複数ページのデータを、分析と自動化につなげたいあなたが静的・動的サイトの両方を取得できるようになるための実践

    導入

    結論から言います。Pythonを使えば、複数ページにまたがる一覧の取得、取得と同時の整形、CSVへの保存までを、再現可能な1つの手順として実行できます。この編では、静的サイトにはRequestsとBeautifulSoupを、動的サイトにはPlaywrightを使い、仕上げにPandasで整形してCSVに保存するまでを、複写して動かせるサンプルコードとともに解説します。

    前編のツール編では、ボタン操作で「取れた」体験を作りました。この編はその先です。件数が多い、ページが分かれている、定期的に同じ形で取りたい。そうした要求に応えるのがコードの役割です。環境はGoogle Colabを使います。あなたのパソコンに開発環境を構築する必要はなく、ブラウザだけで始められます。

    練習対象は限定します。この編のサンプルは、スクレイピング練習用に公開されているサイトであるquotes.toscrape.comとbooks.toscrape.com、および表示確認用のexample.comだけを使います。実在の一般サイトを無断で叩く例は出しません。あなたが自分の業務で対象を選ぶときは、第01編で扱った法律とマナーを前提に、利用規約で禁止されていないこと、robots.txtを尊重すること、個人情報を収集しないことを必ず確認してください。

    実践にあたっての最低限の前提を、ここでも置きます。スクレイピング自体が直ちに違法になるわけではありません。ただし、過剰な負荷をかける行為は偽計業務妨害や不正アクセス禁止法の問題になり得ます。そのため、この編のすべてのサンプルには、リクエストの間隔を空ける処理(time.sleep)を型として含めています。サンプルを応用する場合も、この間隔を削らないでください。速さよりも、相手サイトに負荷をかけないことが優先です。

    目次

    • 第1章 この編の全体像と、静的・動的の違い

    • 第2章 Google Colabの環境準備

    • 第3章 開発者ツールでCSSセレクタを探す手順

    • 第4章 RequestsとBeautifulSoupによる静的サイトの取得

    • 第5章 Playwrightによる動的サイトの取得

    • 第6章 Pandasで整形してCSVに保存する

    • 第7章 具体例:練習用書籍サイトの全ページ取得の流れ

    • 第8章 失敗例と対処

    • 演習(今日やること)

    • まとめ

    • 次に読む編

    • 免責事項

    第1章 この編の全体像と、静的・動的の違い

    1-1 静的サイトと動的サイト

    Webページには、大きく分けて2種類あります。

    静的サイトは、サーバーから返されたHTMLの中に、欲しい情報がそのまま書かれているページです。RequestsでHTMLを取得し、BeautifulSoupで必要な部分を取り出せます。処理が軽く、理解もしやすいため、最初に覚えるのはこちらです。

    動的サイトは、ページを開いたあとにJavaScriptが動いて内容を描画するページです。HTMLを取得しただけでは欲しい情報が含まれていないことがあります。この場合は、Playwrightのように実際のブラウザを操作する道具を使い、描画が終わったあとのページから情報を取り出します。

    判断の順番は決まっています。まずRequestsで試し、欲しい要素が取れなければPlaywrightに切り替えます。最初から重い道具を使わないことが、実行時間と負荷の両面で正解です。

    1-2 この編で使う道具

    • Google Colab:ブラウザ上でPythonを実行する環境です。

    • Requests:WebページのHTMLを取得するライブラリです。

    • BeautifulSoup:HTMLを解析し、要素を取り出すライブラリです。

    • Playwright:ブラウザを自動操作し、動的サイトに対応する道具です。

    • Pandas:取得したデータを表として整形し、CSVに保存するライブラリです。

    画像

    【図解:静的サイトと動的サイトの取得方法の違いの図】(様式描画で作成)

    一人ビジネスでの使いどころ:一人ビジネスでは、取得したデータをそのまま分析や発信に使える形にすることが価値になります。Pythonで取得からCSV保存までを1つのノートブックにしておけば、次回からは実行するだけで同じ形のデータが手に入ります。価格調査、コンテンツのネタ収集、自分の発信の記録整理など、繰り返し発生する調査業務ほど効果が出ます。

    第2章 Google Colabの環境準備

    2-1 ノートブックを作成する

    1. ブラウザでGoogle Colab(colab.research.google.com)を開き、Googleアカウントでログインします。

    2. 「新しいノートブック」にあたるメニューから、ノートブックを新規作成します。

    3. ノートブックの名前を「scraping-practice」など、内容が分かる名前に変更します。名前はファイル名の表示部分をクリックして編集できます。

    4. ノートブックはGoogleドライブに保存されます。保存状態は画面上部の表示で確認できます。

    Colabの実行環境は、一定時間でリセットされます。インストールしたライブラリや一時ファイルは消えることがあるため、ライブラリのインストールはノートブックの先頭セルに書いておき、毎回順に実行する形にします。これがColab運用の型です。

    2-2 ライブラリをインストールする

    最初のセルに次のコードを書き、セル左の実行ボタンを押すか、ShiftキーとEnterキーを同時に押して実行します。

    !pip install requests beautifulsoup4 pandas lxml

    実行結果の最後に、インストール完了を示す表示が出れば成功です。Colabには一部のライブラリが最初から入っていることもありますが、明示的にインストールするセルを用意しておくことで、環境がリセットされても同じ手順で再現できます。

    Playwrightのインストールは第5章で扱います。静的サイトの取得だけなら、上記のライブラリで足ります。

    2-3 動作確認をする

    次のセルで、アクセス確認用のexample.comに1回だけリクエストし、状態を確認します。example.comは、説明や確認のために公開されているドメインです。

    import requests
    
    headers = {
        "User-Agent": "Mozilla/5.0 (compatible; ScrapingPractice/1.0)"
    }
    
    try:
        response = requests.get("https://example.com", headers=headers, timeout=10)
        response.raise_for_status()
        print("ステータスコード:", response.status_code)
        print("HTMLの先頭200文字:", response.text[:200])
    except requests.exceptions.RequestException as e:
        print("取得に失敗しました:", e)

    ステータスコードが200と表示されれば、通信とライブラリの準備は完了です。ここで使った型、つまりUser-Agentの設定、timeoutの指定、raise_for_statusによるエラー検出、tryとexceptによる例外処理は、この後のすべてのサンプルで共通して使います。

    第3章 開発者ツールでCSSセレクタを探す手順

    コードを書く前に、欲しい情報がページのどこにあるかを知る必要があります。その道具が、Chromeの開発者ツールです。セレクタとは、HTMLの中から目的の要素を指定するための住所のようなものです。ここではCSSセレクタを探す具体的な手順を示します。

    3-1 要素を特定する手順

    1. 練習用サイトquotes.toscrape.comをChromeで開きます。このサイトはスクレイピング練習用に公開されているサイトです。

    2. キーボードのF12キーを押して開発者ツールを開きます。メニューから開く場合は、Chromeの「その他のツール」から「デベロッパーツール」にあたる項目を選びます。

    3. 開発者ツール左上付近にある、要素選択のアイコン(矢印で要素を指す形のアイコン)をクリックします。

    4. ページ上で、取得したい文字、たとえば名言の本文の上にマウスを重ねます。該当箇所がハイライトされ、開発者ツール側で対応するHTMLが選択されます。

    5. 選択されたHTMLを確認し、タグ名とclass属性の値を読み取ります。quotes.toscrape.comの名言本文であれば、classに「text」という値が含まれていることが確認できます。

    6. 周囲の構造も確認します。名言1件分のまとまりが、どの要素で囲まれているかを親要素方向にたどって確認します。この「1件分のまとまり」が、後で繰り返し処理の単位になります。

    3-2 セレクタを決めるときの考え方

    セレクタは、具体的すぎても、曖昧すぎても失敗します。実務では次の順で考えます。

    1. まずclass属性で指定します。例として、名言本文は「span.text」、著者名は「small.author」と指定できます。

    2. 同じclassが無関係な場所にも使われていないか、ページ内で確認します。

    3. 1件分のまとまりを先に取得し、その中から相対的に探す方法が安定します。quotes.toscrape.comでは、classが「quote」の要素が1件分のまとまりです。

    セレクタが正しいかは、コードを実行して件数と中身を見ることで検証します。推測で決めず、必ず結果で確認してください。

    画像

    【図解:開発者ツールでセレクタを特定する手順の図】(様式描画で作成)

    第4章 RequestsとBeautifulSoupによる静的サイトの取得

    4-1 1ページを取得する

    quotes.toscrape.comから、名言と著者名を取得します。このサイトはスクレイピング練習用に公開されているサイトであり、構造が安定しているため、最初の練習に適しています。

    import time
    import requests
    from bs4 import BeautifulSoup
    
    headers = {
        "User-Agent": "Mozilla/5.0 (compatible; ScrapingPractice/1.0)"
    }
    
    url = "https://quotes.toscrape.com/"
    
    try:
        response = requests.get(url, headers=headers, timeout=10)
        response.raise_for_status()
    except requests.exceptions.RequestException as e:
        print("取得に失敗しました:", e)
        raise
    
    soup = BeautifulSoup(response.text, "lxml")
    
    quotes = []
    for item in soup.select("div.quote"):
        text = item.select_one("span.text").get_text(strip=True)
        author = item.select_one("small.author").get_text(strip=True)
        quotes.append({"text": text, "author": author})
    
    print("取得件数:", len(quotes))
    for q in quotes[:3]:
        print(q)
    
    time.sleep(1)

    ポイントは4つです。1つ目は、selectで「div.quote」というセレクタを使い、1件分のまとまりをすべて取得していることです。2つ目は、その中からselect_oneで本文と著者名を取り出していることです。3つ目は、get_textでタグではなく文字だけを取り出していることです。4つ目は、最後にtime.sleepで間隔を空ける型を入れていることです。1ページだけの取得でも、この型を省略しません。

    4-2 複数ページを取得する

    同じサイトの複数ページをたどる場合は、ページごとに間隔を空けます。練習用サイトであっても、この型は本番と同じにします。間隔を空けずに連続でリクエストするコードは、この教科書では書きません。

    import time
    import requests
    from bs4 import BeautifulSoup
    
    headers = {
        "User-Agent": "Mozilla/5.0 (compatible; ScrapingPractice/1.0)"
    }
    
    base_url = "https://quotes.toscrape.com"
    next_path = "/page/1/"
    all_quotes = []
    
    while next_path:
        url = base_url + next_path
        try:
            response = requests.get(url, headers=headers, timeout=10)
            response.raise_for_status()
        except requests.exceptions.RequestException as e:
            print("取得に失敗したため中断します:", url, e)
            break
    
        soup = BeautifulSoup(response.text, "lxml")
    
        for item in soup.select("div.quote"):
            text = item.select_one("span.text").get_text(strip=True)
            author = item.select_one("small.author").get_text(strip=True)
            all_quotes.append({"text": text, "author": author})
    
        next_link = soup.select_one("li.next a")
        next_path = next_link.get("href") if next_link else None
    
        print("取得済み件数:", len(all_quotes))
        time.sleep(2)
    
    print("最終件数:", len(all_quotes))

    次ページの有無は、「li.next a」というセレクタでリンクを探して判断しています。リンクがなければNoneになり、繰り返しが終わります。ページ番号を決め打ちで大きく増やす方法よりも、この「次ページリンクをたどる」方法が、実際の件数に沿った安全な書き方です。

    業務で応用する場合は、ページ数に上限を設けてください。たとえば「最大10ページまで」という条件をコードに明記することが、想定外の大量取得を防ぎます。

    一人ビジネスでの使いどころ:複数ページの取得ができるようになると、過去の記事一覧、商品一覧、実績一覧といった「まとまった情報」を一度に表へ変換できます。手作業では諦めていた件数でも、間隔を守ったコードであれば、相手に負荷をかけずに必要な範囲を取得できます。

    第5章 Playwrightによる動的サイトの取得

    5-1 Playwrightを使う場面

    Requestsで取得したHTMLに、欲しい文字が含まれていない場合、そのページはJavaScriptで描画されている可能性があります。ブラウザで見たときには表示されるのに、HTMLには無い。この状態が、Playwrightへの切り替えサインです。

    Playwrightは、実際のブラウザをプログラムから操作する道具です。ページを開き、描画が終わるのを待ってから、表示された内容を取り出します。処理はRequestsより重いため、動的サイトに限定して使います。

    5-2 Colabでのインストール手順

    Colabでは、ライブラリのインストールに加えて、ブラウザ本体のインストールが必要です。ノートブックのセルで次の2行を実行します。実行には数分かかることがあります。

    !pip install playwright
    !playwright install chromium

    1行目でPlaywrightのライブラリを入れ、2行目でChromiumブラウザを入れます。環境がリセットされた場合は、再度このセルから実行し直します。

    5-3 動的ページを取得するサンプル

    練習として、quotes.toscrape.comのJavaScript版ページ(/js/ のパスで提供される、JavaScript描画で表示される練習ページ)を対象にします。同サイトはスクレイピング練習用に公開されているサイトです。Requestsでは名言が取りにくい構成であり、静的版との違いを体験できます。

    import time
    from playwright.sync_api import sync_playwright
    
    url = "https://quotes.toscrape.com/js/"
    
    with sync_playwright() as p:
        browser = p.chromium.launch(headless=True)
        page = browser.new_page(
            user_agent="Mozilla/5.0 (compatible; ScrapingPractice/1.0)"
        )
        page.goto(url, timeout=30000)
        page.wait_for_selector("div.quote")
    
        items = page.query_selector_all("div.quote")
        results = []
        for item in items:
            text = item.query_selector("span.text").inner_text()
            author = item.query_selector("small.author").inner_text()
            results.append({"text": text, "author": author})
    
        browser.close()
    
    print("取得件数:", len(results))
    for r in results[:3]:
        print(r)
    
    time.sleep(1)

    ポイントは3つです。1つ目は、wait_for_selectorで目的の要素が描画されるまで待っていることです。固定時間だけ待つ方法よりも確実です。2つ目は、headless=Trueで画面を表示せずにブラウザを動かしていることです。Colabではこの指定が標準です。3つ目は、処理の最後にbrowser.closeでブラウザを閉じていることです。閉じ忘れは、環境のリソースを圧迫します。

    複数ページをPlaywrightでたどる場合は、ページ遷移ごとにtime.sleepで間隔を空けます。動的サイトは相手側の処理も重い傾向があるため、静的サイト以上に間隔への配慮が必要です。

    5-4 Playwrightでよくあるつまずき

    要素が見つからないエラーが出る場合は、セレクタが描画後の構造と合っていない可能性があります。対処は、通常のChromeの開発者ツールで、描画後のページの構造を確認し直すことです。また、ページの読み込みに時間がかかる場合は、timeoutの値を大きくするのではなく、wait_for_selectorで目的の要素を待っているかを確認してください。むやみに待機時間を延ばすことは解決にはなりません。

    第6章 Pandasで整形してCSVに保存する

    6-1 DataFrameに変換する

    取得したリストは、PandasのDataFrameに変換することで、表として扱えるようになります。第4章で取得したall_quotesを引き継ぐ形で、次のセルを実行します。

    import pandas as pd
    
    df = pd.DataFrame(all_quotes)
    print(df.shape)
    print(df.head())

    shapeでは行数と列数が、headでは先頭の数行が確認できます。取得直後にこの確認を入れることが、空データのまま先に進む失敗を防ぎます。

    6-2 整形の基本操作

    実務でよく使う整形は、重複の削除、欠けた値の確認、並べ替えです。

    # 重複行を削除する
    df = df.drop_duplicates()
    
    # 空の値がある行を確認する
    print("欠けた値の数:")
    print(df.isnull().sum())
    
    # 著者名の昇順に並べ替える
    df = df.sort_values("author").reset_index(drop=True)
    
    print(df.head())

    整形は、原本を壊さない順番で行います。取得した直後のDataFrameをCSVに一度保存してから、加工用の処理を続ける方法も有効です。

    6-3 CSVに保存し、Colabからダウンロードする

    output_path = "quotes.csv"
    df.to_csv(output_path, index=False, encoding="utf-8-sig")
    print("保存しました:", output_path, "件数:", len(df))

    encodingに「utf-8-sig」を指定すると、Excelで開いたときに日本語が文字化けしにくくなります。Colab上にあるファイルを手元に保存する場合は、次のセルを実行します。

    from google.colab import files
    
    files.download("quotes.csv")

    実行すると、ブラウザのダウンロードが始まります。これで、取得から保存までの流れが完結します。

    画像

    【図解:取得から整形・CSV保存までの流れの図】(様式描画で作成)

    第7章 具体例:練習用書籍サイトの全ページ取得の流れ

    7-1 状況設定

    具体例として、もう1つの練習用サイトであるbooks.toscrape.comを使います。このサイトは書籍の一覧を題材にしたスクレイピング練習用に公開されているサイトで、複数ページにわたる一覧と、価格や評価のような構造化された項目を持っています。練習相手として最適な構成です。

    目標は、書籍のタイトルと価格の一覧をCSVにすることとします。手順は、この編で学んだ型の組み合わせです。

    7-2 手順の組み立て

    1. 開発者ツールで1冊分のまとまりの要素と、タイトルと価格のセレクタを確認します。books.toscrape.comでは、書籍1冊分がarticle要素でまとまっていることが確認できます。

    2. Requestsで1ページ目だけを取得し、件数と中身を検証します。いきなり全ページは取得しません。

    3. 検証できたら、次ページリンクをたどる形に拡張し、ページごとにtime.sleepで2秒の間隔を空けます。あわせて、最大ページ数の上限をコードに明記します。

    4. 取得したリストをPandasのDataFrameに変換し、重複削除と並べ替えを行います。

    5. utf-8-sigでCSVに保存し、ダウンロードします。

    この順番、「1ページで検証してから広げる」は、実務でもそのまま使える型です。検証なしに全ページ取得から始めるコードは、セレクタの間違いに気づくのが遅れ、無駄なリクエストも増えます。

    7-3 コードの骨組み

    import time
    import requests
    from bs4 import BeautifulSoup
    import pandas as pd
    
    headers = {
        "User-Agent": "Mozilla/5.0 (compatible; ScrapingPractice/1.0)"
    }
    
    base_url = "https://books.toscrape.com/"
    next_path = "catalogue/page-1.html"
    books = []
    page_count = 0
    MAX_PAGES = 5 # 練習では上限を設けます。必要な範囲だけに絞るための指定です。
    
    while next_path and page_count < MAX_PAGES:
        url = base_url + next_path
        try:
            response = requests.get(url, headers=headers, timeout=10)
            response.raise_for_status()
        except requests.exceptions.RequestException as e:
            print("取得に失敗したため中断します:", url, e)
            break
    
        soup = BeautifulSoup(response.text, "lxml")
    
        for item in soup.select("article.product_pod"):
            title = item.select_one("h3 a").get("title")
            price = item.select_one("p.price_color").get_text(strip=True)
            books.append({"title": title, "price": price})
    
        page_count += 1
        print(page_count, "ページ目まで取得。累計:", len(books))
    
        next_link = soup.select_one("li.next a")
        next_path = "catalogue/" + next_link.get("href") if next_link else None
    
        time.sleep(2)
    
    df = pd.DataFrame(books).drop_duplicates()
    df.to_csv("books.csv", index=False, encoding="utf-8-sig")
    print("保存件数:", len(df))

    価格は文字列として取得しています。金額として計算に使う場合は、通貨記号やカンマを取り除いて数値に変換する処理を追加します。その場合も、変換前の原本CSVは別に残しておきます。

    第8章 失敗例と対処

    8-1 403エラーで取得できない

    ステータスコード403は、アクセスが拒否されている状態です。User-Agentを設定していないことが原因の場合もありますが、設定しても403が続く場合は、そのサイトが自動取得を望んでいない可能性があります。対処は、繰り返し試行しないことです。対象サイトの利用規約を確認し、収集自体を見直してください。回避のための細工は、この教科書では扱いません。

    8-2 要素がNoneになりエラーになる

    select_oneが要素を見つけられないと、結果はNoneになり、そのままget_textを呼ぶとエラーになります。原因は、セレクタの間違いか、ページ構造の変更です。対処は2段階です。まず開発者ツールでセレクタを確認し直します。次に、コード側でNoneの場合の処理を入れることで、1件の失敗で全体が止まらないようにします。

    title_element = item.select_one("span.text")
    text = title_element.get_text(strip=True) if title_element else ""

    ただし、空文字が大量に混ざる場合は、データとして使えません。件数と中身の確認を省略しないでください。

    8-3 取得件数が0件になる

    Requestsで取得したHTMLに目的の文字が含まれていない場合、そのページは動的サイトの可能性があります。対処は、第5章のPlaywrightへの切り替えです。切り替えの判断材料として、取得したHTMLを検索し、目的の語句が含まれるかを最初に確認する手順を入れておくと、切り替えが速くなります。

    8-4 Colabの環境がリセットされる

    長時間の放置や実行時間の上限で、環境がリセットされることがあります。対処は、ノートブックの先頭から順に実行し直すことです。そのために、インストール、取得、整形、保存をセルごとに分けておきます。途中結果を失いたくない場合は、節目ごとにCSVをダウンロードしておきます。

    演習(今日やること)

    今日中に、次の演習を終えてください。対象は練習用サイトだけです。

    • ☐ Google Colabで新しいノートブックを作成し、名前を付けて保存状態を確認する

    • ☐ 先頭セルでrequests、beautifulsoup4、pandas、lxmlをインストールする

    • ☐ example.comへの動作確認コードを実行し、ステータスコード200を確認する

    • ☐ quotes.toscrape.comを開発者ツールで開き、名言本文と著者名のセレクタを自分の目で確認する

    • ☐ 第4章のサンプルで1ページ分の名言と著者名を取得し、件数を表示する

    • ☐ 次ページリンクをたどるサンプルを実行し、time.sleepが効いていることを体感する

    • ☐ PlaywrightとChromiumをインストールし、/js/ ページから名言を取得する

    • ☐ 取得結果をPandasでDataFrame化し、重複削除と並べ替えを行う

    • ☐ utf-8-sigでCSVに保存し、ColabからダウンロードしてExcelまたはスプレッドシートで開く

    • ☐ books.toscrape.comの具体例コードを、最大ページ数を自分で決めて実行する

    まとめ

    この編では、Pythonによるスクレイピングの中核となる流れを実践しました。Google Colabで環境を用意し、開発者ツールでCSSセレクタを特定し、静的サイトはRequestsとBeautifulSoupで、動的サイトはPlaywrightで取得し、Pandasで整形してCSVに保存する。この一連の流れが、実務の基本形です。

    すべてのサンプルに共通する型も確認しました。User-Agentの設定、timeoutの指定、例外処理、そしてtime.sleepによる間隔の確保です。とくに間隔の確保は、技術的な作法であると同時に、相手サイトへの配慮というマナーの実践です。応用時にも削らないでください。

    練習対象を練習用サイトに限定したことも、この編の重要な設計です。正しい対象で型を覚え、対象を業務に広げるときは規約とrobots.txtの確認から始める。この順番を守ることが、長く使える技術になります。

    次に読む編

    次は第04編を読んでください。この編で身につけた取得と整形の型を前提に、定期実行や、より大きなデータの扱い、実務への組み込み方へ進みます。第02編のツールで済む仕事と、第03編のPythonで扱う仕事の境界を意識しながら読み進めると、あなたの業務に合った自動化の設計が見えてきます。

    免責事項

    本記事は、筆者の経験に基づく一般的な情報提供を目的としたものであり、収益や成果を保証するものではありません。紹介した手法の効果には個人差があり、同じ結果が得られることを約束するものではありません。価格やサービス内容などの情報は執筆時点のもので、変更される場合があります。最終的な判断は、ご自身の責任で行ってください。

     
     
    AIでひとりビジネスを試行錯誤中 アフィリ・コンテンツ制作の自動化に挑戦 AIを使いたいのに一歩が止まる人へ 学びを共有します

    あなたへのおすすめ