メインコンテンツへスキップ
見出し画像
Photo bypn3

非エンジニアがAIでWebスクレイピングを自動化した方法のまとめ★Webスクレイピングの初心者でもできる33の方法


    非エンジニアがAIでWebスクレイピングを自動化した方法のまとめ

    Coopelマーケティング担当の筆者が、プログラミング知識なしでWebスクレイピングを自動化した方法について解説しています。これは、これまで手作業で行っていた気象庁の積雪量データのコピペ作業に時間を取られ、「自動化・効率化」を諦めていた筆者が、AI、特に**大規模言語モデル(LLM)**の進化によって実現できた事例です。


    なぜWebスクレイピングに挑戦したのか?

    • 毎日の退屈なコピペ作業からの解放: 週末のスキーのために、毎朝数十か所の積雪量を手動で記録する作業に疲弊していた。

    • 業務時間の創出: コピペに費やす時間をマーケティング業務に充てたいと考えていた。

    • AIの進化: プログラミングなしでデータ収集ができるようになったというAIの話題に触発された。


    AIを活用したWebスクレイピングの概要

    筆者はGoogle Gemini(OpenAIのChatGPTやAnthropicのClaudeでも可能)を活用し、以下の手順でWebスクレイピングを実現しました。

    1. 取得したい情報の特定: 気象庁の「全国観測値ランキング」ページから最高気温ランキングのデータを対象とする(積雪情報は夏季には提供されないため)。

    2. HTMLソースのコピー: ブラウザでページのHTMLソースを表示し、全体をコピーする。

    3. AIへの指示: コピーしたHTMLソースをAIに貼り付け、「最高気温ランキングのテーブルデータをCSV形式で出力してください」と依頼する。

    4. プロンプトの工夫:

      • 初回はHTMLソースを直接貼り付けて成功。

      • 次に、URLを直接指定してデータを取得できるように改良。

      • さらに、URL内の日付が変わることに対応するため、「今日の日付のデータを取得して」と依頼できるプロンプトに改良し、毎日最新データが自動取得できるようにした。


    さらなる自動化と応用

    • Coopelとの連携: 毎日AIにプロンプトを実行する手間を省くため、Coopelというツールを使って、AIで取得したデータをGoogleスプレッドシートに自動でコピペし、過去1週間の積雪量を合算、そしてSlackに通知するシナリオを作成し、毎朝8時に定期実行する仕組みを構築しました。

    • プライベートと仕事への応用: 積雪量データの取得だけでなく、他のサイトからの情報収集にも活用し、業務の効率化に役立てています。


    はい、Coopelのブログ記事「非エンジニアの私が、プログラミングなしでWebスクレイピングした方法を伝えたい」に対するユーザーコメントを拝見しました。

    多くのユーザーがこのアプローチに興味を持ち、Webスクレイピングのハードルが下がることへの期待が伺えますね。一方で、AIを利用したスクレイピングにおけるデータの正確性や効率性に関する懸念も複数指摘されています。


    注目された点とコメントの要約

    ポジティブな意見・期待

    • プログラミングなしでできることへの共感と歓迎:

      • 「webプログラマだけど、スクレイピング+定期クロールくらいの作業はプログラミング技能なしでできた方がみんなハッピーだよなーと思う。」

      • 「こういう活用は進んでいく。」

      • 「Excelもスクレイピング機能持ってたりするし、ハードルが下がるね」

    • AI活用の賢さ:

      • 「エンジニア警察ですが否定のプレフィックスを付けて使うのは賢いと思います」

    • サイト構造の変化への強さ:

      • 「LLMでスクレイピングするのめっちゃ無駄に思えるけどサイトの作りの変化には強そうだよな」

    懸念点・改善提案

    • データの正確性への懸念:

      • 「AIを通すとたまに存在しない数値に書き換えられたりするので、もう一歩進めてAI通さずにデータ取ってくるツールをAIに作ってもらったほうが良いかも」

      • 「これやったけど、数字が一部嘘なんだよね…目視でのチェックが必要になった」

      • 「ただ結果がはたして信用できるのかという問題はあるけど」

    • 効率性・冗長性:

      • 「冗長ここに極まれり。水資源の節約のためにもう一歩進めてみて欲しい。毎回この同じ作業を行うには、どうするのが効率的ですか?と聞くのだ。」


    コメント全体から見えてくること

    このコメント欄からは、非エンジニアが直面するデータ収集の課題と、それに対するAI(LLM)の可能性と限界が浮き彫りになっています。

    AIによってWebスクレイピングの「入り口」のハードルは劇的に下がったものの、特にデータの正確性については、まだ課題が残ることが示唆されています。LLMは自然言語処理に長けているため、非定型なサイト構造の変更には柔軟に対応できる可能性もありますが、数値データの厳密な抽出や検証には、依然として人の目やより専門的なツールが必要となるケースがあるようです。

    また、「毎回同じ作業を行うにはどうするのが効率的か?」という問いは、自動化を追求する上で当然の疑問であり、プロンプトの工夫や外部ツール(記事中ではCoopel)との連携がその解決策となることが再認識されます。

    今後の展開として

    • 精度向上への対策: AIが抽出したデータの検証方法や、より信頼性の高いデータを取得するためのプロンプトの工夫、あるいはAIにスクレイピングコード自体を生成させるアプローチなどが求められそうです。

    • より高度な自動化: 定期実行やデータ加工、通知までを連携させる「自動化ワークフロー」の構築事例がさらに増えることで、非エンジニアの業務効率は格段に向上するでしょう。

    この記事は、AI時代における非エンジニアのスキルアップと、それがもたらす可能性を示唆する、非常にタイムリーで示唆に富む内容だと言えますね。


    +++++++++++++++++++++++++


    Webスクレイピングの初心者でもできる方法は、大きく分けて以下の3つのグループに分けられます。それぞれのグループに属する具体的な方法を、実践のしやすさや必要なスキルレベルに基づいて解説します。


    1. コード不要のツール・サービスを利用する 🚀

    最も手軽にWebスクレイピングを始められる方法です。プログラミングの知識が一切なくても、視覚的な操作や簡単な設定でデータを取得できます。

    1-1. ブラウザ拡張機能・アドオン

    ブラウザにインストールして使うことで、Webページ上のデータを簡単に選択・抽出できます。

    • Web Scraper (Chrome/Firefox): 直感的なUIで、クリック操作だけでスクレイピングのルールを設定できます。データ構造を理解しなくても、欲しい要素を視覚的に選んで抽出できるのが強みです。繰り返し構造(リストやテーブル)からのデータ抽出にも対応しています。

    • Data Scraper (Chrome): ワンクリックでテーブルデータをExcelやCSVにエクスポートできるシンプルな機能が特徴です。複雑な設定なしに素早くデータを取得したい場合に便利です。

    • Instant Data Scraper (Chrome): 開いているページのテーブルやリストを自動認識し、ボタン一つでCSVとしてダウンロードできます。こちらも手軽さが魅力です。

    • Scraper (Chrome): Webページ上の要素を右クリックして「Scrape Similar」を選択するだけで、類似の要素を自動的に抽出し、スプレッドシート形式で表示します。

    • SelectorGadget (Chrome/Firefox): スクレピングツールではありませんが、CSSセレクタの特定を補助するツールです。抽出したい要素をクリックすると、適切なCSSセレクタを提案してくれます。スクレイピングツールの設定時に役立ちます。


    1-2. オンラインWebスクレイピングサービス (SaaS)

    クラウド上で動作するサービスで、ソフトウェアのインストールが不要です。複雑な設定もサービス側でサポートしてくれることが多いです。

    • Octoparse: ドラッグ&ドロップで操作できるビジュアルインターフェースが特徴。定期実行やクラウドへの保存機能も充実しており、大規模なデータ収集にも対応できます。無料プランもあります。

    • ParseHub: 機械学習技術を利用して、複雑なWebサイト構造からデータを自動的に抽出します。特定のデータパターンを自動で学習してくれるため、設定の手間が省けます。無料プランあり。

    • Apify (Actors): より高度な自動化やAPI連携も可能なプラットフォーム。専門的な知識がなくても、既存の「Actors」(事前に用意されたスクレイピングプログラム)を利用することで、簡単にデータ収集が可能です。幅広い用途に対応。

    • ScrapeStorm: AIを利用したインテリジェントなWebスクレイピングツール。Webサイトの構造を自動で認識し、データ抽出ルールを自動生成してくれます。

    • Scrapingbee: APIベースのWebスクレイピングサービスですが、シンプルなWebページであれば、URLを指定するだけでHTMLを取得できます。より技術的な知識は必要ですが、API連携で自動化しやすいです。

    • Diffbot: AIを活用してWebページから構造化されたデータを自動的に抽出するサービス。記事、製品、イベントなど、コンテンツの種類を自動判別し、必要な情報だけを整理してくれます。

    • Import.io: エンタープライズ向けのWebデータ抽出プラットフォーム。大量かつ継続的なデータ収集に適しており、高度なカスタマイズとサポートが特徴です。

    1-3. スプレッドシートの組み込み関数

    GoogleスプレッドシートやExcelには、Web上のデータを直接取り込むための関数が用意されています。

    • Google スプレッドシートの =IMPORTHTML / =IMPORTXML:

      • =IMPORTHTML(URL, "table" or "list", index): 指定したURLからテーブルまたはリスト形式のデータを直接シートに取り込みます。ブログ記事で紹介されているような、整形された表データを取り込むのに非常に強力です。

      • =IMPORTXML(URL, XPathクエリ): XPathというパス指定言語を使って、HTML/XMLの特定の要素を抽出します。より細かい指定が可能ですが、XPathの知識が必要です。

    • Excelの「Webから」データ取得機能: Excelのリボンメニューから「データ」タブの「Webから」を選択すると、WebページのテーブルデータをExcelシートにインポートできます。Power Queryエディターを使えば、データの整形や結合も可能です。



    2. AI (大規模言語モデル) を活用する 🧠

    この記事で紹介されている方法の中核です。プログラミングは不要ですが、Webページの構造をAIに理解させるためのプロンプト作成スキルが重要になります。

    2-1. LLMに直接HTML/URLを渡す

    Webページの内容をAIに理解させ、必要な情報を抽出してもらいます。

    • Google Gemini: 今回のブログ記事の主役。HTMLソースやURLを渡して、欲しい情報を自然言語で依頼します。「〇〇のテーブルデータを抽出してCSV形式で出力してください」といった具体的な指示が効果的です。

    • ChatGPT (Plus/Enterprise): Webブラウジング機能やコードインタープリター機能を持つバージョンでは、URLを直接読み込ませてデータの抽出や分析を行えます。

    • Anthropic Claude: 大量のテキストを一度に処理できる能力を持つため、長いHTMLソースを読み込ませて情報を抽出するのに適しています。

    • Perplexity AI: Web検索とAIの対話機能を組み合わせたツール。Webページの情報を参照しながら、質問に対する回答を生成する能力に優れています。特定の情報抽出にも応用可能です。

    • Copilot (Microsoft): Edgeブラウザに統合されており、Webページの内容を読み取って要約したり、特定の情報を抽出したりできます。

    2-2. LLMにスクレイピングコードを生成させる (応用編)

    これは厳密には「プログラミングなし」ではないですが、「自分でコードを書かなくてもよい」という意味では含まれます。LLMにプログラミング言語(Pythonなど)のスクレイピングコードを生成させ、それを実行する方法です。コードの内容を完全に理解できなくても、実行方法さえ分かれば可能です。

    • Python + BeautifulSoup / Scrapy (生成コード): LLMに「Pythonで〇〇のサイトからデータをスクレイピングするコードを書いてください」と依頼し、生成されたコードを実行します。実行環境の準備は必要ですが、高度なスクレイピングも可能になります。


    3. ローコード/ノーコードツールを活用 🛠️

    Webスクレイピングに特化したツールではありませんが、他のWebサービスと連携してデータフローを自動化するツールです。スクレイピングツールで取得したデータを次のアクション(データベース保存、メール送信、Slack通知など)につなげる際に利用します。

    3-1. 自動化プラットフォーム

    視覚的なインターフェースで、異なるサービス間の連携を構築できます。

    • Coopel: ブログ記事で紹介されているツール。Webスクレイピングツールで取得したデータをGoogleスプレッドシートに転記したり、Slackに通知したりする一連の自動化ワークフローを構築できます。

    • Zapier: 異なるWebサービス(Gmail, Slack, Google Sheetsなど)を連携させ、特定のトリガーを基に自動でタスクを実行するツールです。スクレイピングツールと連携して、データが取得されたら通知を送るなどの自動化が可能です。

    • IFTTT (If This Then That): 「もしこれなら、あれを実行」というシンプルな論理で、様々なWebサービスやデバイスを連携させることができます。特定のWebサイトの更新をトリガーに通知を受け取る、といった使い方ができます。

    • Make (旧Integromat): Zapierよりも柔軟で多機能な自動化プラットフォーム。複数のステップを組み合わせた複雑なワークフローを構築でき、スクレイピングツールからのデータを使った高度な処理が可能です。

    • Microsoft Power Automate: Microsoft製品との連携が強み。Webスクレイピングの機能も一部持ち合わせており、デスクトップフローとクラウドフローを組み合わせて複雑な自動化を実現できます。

    3-2. データ連携・ETLツール (簡易版)

    • Airtable (オートメーション機能): スプレッドシートとデータベースの中間のようなツール。オートメーション機能を使って、外部サービスからAPI経由でデータを取り込んだり、特定の条件でアクションを実行したりできます。

    • n8n: オープンソースの自動化ツール。Makeに似ていますが、自己ホスト型で運用することも可能です。より技術的な知識は必要ですが、非常に強力なワークフローを構築できます。


    まとめ

    Webスクレイピングの素人でもできる方法は、コードを一切書かずに視覚的な操作で行う、AIに指示して情報を抽出してもらう、そしてデータ取得後の処理を自動化するという3つの主要なグループに分類されます。あなたの目的とスキルレベルに合わせて、最適なツールを選んでみてください。最初のステップとしては、ブラウザ拡張機能やGoogleスプレッドシートの=IMPORTHTML関数、またはAIに直接URLを渡してみるのが最も簡単でおすすめです。


    Webスクレイピングに関する重要なキーワード

    #Webスクレイピング #データ収集 #情報抽出 #自動化 #スクレイパー #クローリング #Webクローラー #データマイニング #ビッグデータ #オープンデータ #HTML #CSS #XML #JSON #URL #HTTP #HTTPS #GETリクエスト #POSTリクエスト #ユーザーエージェント #パーシング #セレクタ #CSSセレクタ #XPath #正規表現 #タグ #属性 #クラス #ID #要素 #プログラミング言語 #Python #JavaScript #Ruby #PHP #Nodejs #Java #C# #Go #ライブラリ #BeautifulSoup #Scrapy #Selenium #Requests #lxml #Pandas #Cheerio #Puppeteer #Playwright #Nokogiri #倫理 #法律 #robots_txt #利用規約 #著作権 #知的財産権 #サーバー負荷 #マナー #法的規制 #データポリティクス #課題 #動的コンテンツ #JavaScriptレンダリング #CAPTCHA #アンチスクレイピング #IPブロック #リダイレクト #セッション管理 #ログイン #データクリーニング #データ整形 #ツール #ノーコード #ローコード #AIスクレイピング #ブラウザ拡張機能 #WebScraperio #Octoparse #ParseHub #Importio #ScrapeStorm #Apify #クラウドサービス #API #Webhook #データパイプライン #ETL #自動実行 #スケジューリング #プロキシ #VPN #ヘッドレスブラウザ #非エンジニア #ビジネス活用 #マーケティング #価格調査 #競合分析 #市場調査 #リード生成 #ニュース収集 #株価データ #ECデータ

     
     
    AIの進化が加速する今、私たちはどう向き合い、使いこなすべきか。 「AIちゃんねる」では、複雑なニュースの背景や社会への影響を、独自の視点と批評で噛み砕いて解説します。 あなたの「AIって何ができるの?」という疑問を、一緒に解き明かしていきましょう。

    あなたへのおすすめ