メインコンテンツへスキップ
見出し画像

変更①半手動でスクレイピング

    サイトに送るリクエストが減り、ペースも自分で決められます。

    「毎回表示させる」は、ページごとの結果(どのURLが何件で、要確認が何件か)を、実行のたびに一覧で見られるようにする、という意味に受け取りました。違っていれば教えてください。


    画像


    一覧のURLをコピーする方法

    一覧ページを、ブラウザで開いたまま、次の手順で実行してください。ブラウザの文字のコピーでは、URLは取れないので、開発者ツールを使います。

    1. F12 を押して、「コンソール」のタブを開きます。

    2. 次の1行を貼り付けて、Enter を押します。画面が何も表示しなくて構いません。

    copy([...new Set([...document.querySelectorAll('a[href*="/file/"]')].map(a => a.href))].slice(0, 20).join("\n"))

    3.これで、新しいほうから20件のURLが、クリップボードに入ります。Difyの入力欄に、そのまま貼り付けます。

    貼り付けが拒否されたら、コンソールに allow pasting と入力して Enter を押してから、もう一度貼り付けてください。ページを開いて、表示されているリンクを集めるだけの操作です。

    Difyの変更手順

    1. 開始ノードに入力欄を足す。 種類は「段落」、変数名は url_text、ラベル名は「詳細ページのURL(貼り付け)」。最大長は、大きめ(5000 など)にします。

    2. 一覧用のHTTPリクエスト (1) とコードA(コード実行 2)をやめて、コードA2を足す。 開始ノード → コードA2 → イテレーションの順につなぎます。

    3. イテレーションの中に、待機のコードノードを足す。 「イテレーションの開始」→ 待機 → HTTPリクエスト 3 → コードB の順です。

    4. コードC(コード実行 4)を、下のものに入れ替える。 出力変数に、log(String)を追加します。

    5. 出力 2 に、log を足す。 値は、コード実行 4 の log です。

    コードA2:貼り付けたURLから、対象を作る

    入力変数:url_text(開始ノードの url_text)、done_urls(開始ノードの done_urls)、limit(開始ノードの limit) / 出力変数:urls(Array[String])、count(Number)、notes(String)

    import re
    
    BASE = "https://www.meti.go.jp/product_safety/recall/"
    
    def main(url_text: str, done_urls: str, limit: int) -> dict:
        limit = max(1, min(int(limit or 10), 30))          # 配列の上限(30件)に合わせる
        pat = r"file/(\d{6}-\d+\.html)"
        done = set(re.findall(pat, done_urls or ""))
        seen, ids = set(), []
        for f in re.findall(pat, url_text or ""):          # 貼り付けた順(新しい順)
            if f not in seen:
                seen.add(f); ids.append(f)
        todo = [f for f in ids if f not in done]
        picked = [BASE + "file/" + f for f in todo[:limit]]
        picked.reverse()                                   # 古い順に処理 → S番号が日付順に増える
        notes = "貼り付け %d件 / 取得済み除外 %d件 / 今回の対象 %d件" % (len(ids), len(ids) - len(todo), len(picked))
        if not ids:
            notes = "URLが見つかりません。file/260101-1.html のような形のURLを貼ってください"
        return {"urls": picked, "count": len(picked), "notes": notes}

    待機ノード

    入力変数:url(イテレーションの item) / 出力変数:url(String)

    import time
    
    def main(url: str) -> dict:
        time.sleep(5)          # 待機する秒数。サイトへの負担を減らすため(10秒以内にしてください)
        return {"url": url}

    コードC:結果の一覧(log)を追加した版

    入力変数は pages、s_start、c_start。出力変数は tsv、count、notes、log(String) の4つです。

    COLS = ['S番号', 'C番号', 'リコール実施日', 'リコール実施の理由', 'リコール事業者名', '法人番号', '製品名', '商品名', 'JANコード', '品番', '型番', '製造期間', '数量', '色', 'サイズ', 'ブランド', 'OEM', 'ロットNo', '製造番号', '備考', 'その他', '詳細URL', '最終更新日', '要確認']
    
    def to_full(s):
        return "".join("\u3000" if c == " " else chr(ord(c) + 0xFEE0) if "!" <= c <= "~" else c for c in s)
    
    def main(pages: list, s_start: int, c_start: int) -> dict:
        s_no = int(s_start or 1); c_no = int(c_start or 1)
        LIMIT = 78000                                      # 文字列の出力上限(80000)に余裕をもたせる
        out, total, flagged, used_pages, cut, failed = [], len("\t".join(COLS)) + 1, 0, 0, None, []
        log = []
        for pi, page in enumerate(pages or [], 1):
            rows = [l for l in str(page or "").split("\n") if l.strip()]
            if not rows: continue
            if rows[0].startswith("!取得失敗"):            # 取得できなかったページは表に入れない(番号も使わない)
                failed.append(rows[0].split("\t")[-1]); log.append("失敗 | " + rows[0].split("\t")[-1]); continue
            c_label = to_full("C%05d" % c_no)
            page_out, s_tmp = [], s_no
            for line in rows:
                cols = line.split("\t")
                cols += [""] * (len(COLS) - len(cols))
                cols[0] = to_full("S%05d" % s_tmp); cols[1] = c_label; s_tmp += 1
                page_out.append("\t".join(cols))
            size = sum(len(x) + 1 for x in page_out)
            if total + size > LIMIT:
                cut = pi; break                            # このページ以降は入りきらない
            out += page_out; total += size
            fl = sum(1 for x in page_out if x.split("\t")[len(COLS) - 1])
            flagged += fl
            log.append("%s | %s | %d件 | 要確認 %d件" % (c_label, page_out[0].split("\t")[COLS.index("詳細URL")], len(page_out), fl))
            s_no = s_tmp; c_no += 1; used_pages += 1
        tsv = "\n".join(["\t".join(COLS)] + out)
        notes = "%d ページ・%d 件を結合。要確認あり: %d 件。次のS番号: %d / 次のC番号: %d" % (used_pages, len(out), flagged, s_no, c_no)
        if failed: notes += "。取得失敗 %d 件(表に含めていません。取得済みURLにも入れないでください): %s" % (len(failed), " ".join(failed))
        if cut: notes += "。文字数の上限のため %d ページ目以降は含めていません(件数を減らして再実行してください)" % cut
        return {"tsv": tsv, "count": len(out), "notes": notes, "log": "\n".join(log)}

    コードBの更新(取得失敗の印)は、前回の案内のとおりです。まだなら、先にそちらを入れてください。ファイルは、すべて更新してあります。

    確認できていない点

    • 待機(time.sleep)は、Difyの実行環境で動くか、確認していません。 私の環境では試せません。エラーが出たら、そのメッセージを貼ってください。動かない場合は、1回に取得するページ数を減らして、手で間隔をあけます。

    • 詳細ページの取得も、確認画面が出る可能性があります。 今回の変更で減るのは、一覧ページへのアクセスだけです。それでも確認画面が出るなら、ブラウザで開いて、ページのソース(Ctrl + U)をコピーして貼る方式(完全な手動)を作ります。

    • 確認画面が解除されたか、まだ分かっていません。時間をおいてから試してください。


     
     
    ・絵、唄(作詞作曲)、保存食、日々思うこと(日記に近い)、自己分析、AIの独学勉強では、Dify・Obsidian・Pythonなどを書いています。   ※本記事にはAmazonアフィリエイトリンク(広告)が含まれます 2026/04/27開始

    あなたへのおすすめ