
変更①半手動でスクレイピング
サイトに送るリクエストが減り、ペースも自分で決められます。
「毎回表示させる」は、ページごとの結果(どのURLが何件で、要確認が何件か)を、実行のたびに一覧で見られるようにする、という意味に受け取りました。違っていれば教えてください。

一覧のURLをコピーする方法
一覧ページを、ブラウザで開いたまま、次の手順で実行してください。ブラウザの文字のコピーでは、URLは取れないので、開発者ツールを使います。
F12 を押して、「コンソール」のタブを開きます。
次の1行を貼り付けて、Enter を押します。画面が何も表示しなくて構いません。
copy([...new Set([...document.querySelectorAll('a[href*="/file/"]')].map(a => a.href))].slice(0, 20).join("\n"))3.これで、新しいほうから20件のURLが、クリップボードに入ります。Difyの入力欄に、そのまま貼り付けます。
貼り付けが拒否されたら、コンソールに allow pasting と入力して Enter を押してから、もう一度貼り付けてください。ページを開いて、表示されているリンクを集めるだけの操作です。
Difyの変更手順
開始ノードに入力欄を足す。 種類は「段落」、変数名は url_text、ラベル名は「詳細ページのURL(貼り付け)」。最大長は、大きめ(5000 など)にします。
一覧用のHTTPリクエスト (1) とコードA(コード実行 2)をやめて、コードA2を足す。 開始ノード → コードA2 → イテレーションの順につなぎます。
イテレーションの中に、待機のコードノードを足す。 「イテレーションの開始」→ 待機 → HTTPリクエスト 3 → コードB の順です。
コードC(コード実行 4)を、下のものに入れ替える。 出力変数に、log(String)を追加します。
出力 2 に、log を足す。 値は、コード実行 4 の log です。
コードA2:貼り付けたURLから、対象を作る
入力変数:url_text(開始ノードの url_text)、done_urls(開始ノードの done_urls)、limit(開始ノードの limit) / 出力変数:urls(Array[String])、count(Number)、notes(String)
import re
BASE = "https://www.meti.go.jp/product_safety/recall/"
def main(url_text: str, done_urls: str, limit: int) -> dict:
limit = max(1, min(int(limit or 10), 30)) # 配列の上限(30件)に合わせる
pat = r"file/(\d{6}-\d+\.html)"
done = set(re.findall(pat, done_urls or ""))
seen, ids = set(), []
for f in re.findall(pat, url_text or ""): # 貼り付けた順(新しい順)
if f not in seen:
seen.add(f); ids.append(f)
todo = [f for f in ids if f not in done]
picked = [BASE + "file/" + f for f in todo[:limit]]
picked.reverse() # 古い順に処理 → S番号が日付順に増える
notes = "貼り付け %d件 / 取得済み除外 %d件 / 今回の対象 %d件" % (len(ids), len(ids) - len(todo), len(picked))
if not ids:
notes = "URLが見つかりません。file/260101-1.html のような形のURLを貼ってください"
return {"urls": picked, "count": len(picked), "notes": notes}待機ノード
入力変数:url(イテレーションの item) / 出力変数:url(String)
import time
def main(url: str) -> dict:
time.sleep(5) # 待機する秒数。サイトへの負担を減らすため(10秒以内にしてください)
return {"url": url}コードC:結果の一覧(log)を追加した版
入力変数は pages、s_start、c_start。出力変数は tsv、count、notes、log(String) の4つです。
COLS = ['S番号', 'C番号', 'リコール実施日', 'リコール実施の理由', 'リコール事業者名', '法人番号', '製品名', '商品名', 'JANコード', '品番', '型番', '製造期間', '数量', '色', 'サイズ', 'ブランド', 'OEM', 'ロットNo', '製造番号', '備考', 'その他', '詳細URL', '最終更新日', '要確認']
def to_full(s):
return "".join("\u3000" if c == " " else chr(ord(c) + 0xFEE0) if "!" <= c <= "~" else c for c in s)
def main(pages: list, s_start: int, c_start: int) -> dict:
s_no = int(s_start or 1); c_no = int(c_start or 1)
LIMIT = 78000 # 文字列の出力上限(80000)に余裕をもたせる
out, total, flagged, used_pages, cut, failed = [], len("\t".join(COLS)) + 1, 0, 0, None, []
log = []
for pi, page in enumerate(pages or [], 1):
rows = [l for l in str(page or "").split("\n") if l.strip()]
if not rows: continue
if rows[0].startswith("!取得失敗"): # 取得できなかったページは表に入れない(番号も使わない)
failed.append(rows[0].split("\t")[-1]); log.append("失敗 | " + rows[0].split("\t")[-1]); continue
c_label = to_full("C%05d" % c_no)
page_out, s_tmp = [], s_no
for line in rows:
cols = line.split("\t")
cols += [""] * (len(COLS) - len(cols))
cols[0] = to_full("S%05d" % s_tmp); cols[1] = c_label; s_tmp += 1
page_out.append("\t".join(cols))
size = sum(len(x) + 1 for x in page_out)
if total + size > LIMIT:
cut = pi; break # このページ以降は入りきらない
out += page_out; total += size
fl = sum(1 for x in page_out if x.split("\t")[len(COLS) - 1])
flagged += fl
log.append("%s | %s | %d件 | 要確認 %d件" % (c_label, page_out[0].split("\t")[COLS.index("詳細URL")], len(page_out), fl))
s_no = s_tmp; c_no += 1; used_pages += 1
tsv = "\n".join(["\t".join(COLS)] + out)
notes = "%d ページ・%d 件を結合。要確認あり: %d 件。次のS番号: %d / 次のC番号: %d" % (used_pages, len(out), flagged, s_no, c_no)
if failed: notes += "。取得失敗 %d 件(表に含めていません。取得済みURLにも入れないでください): %s" % (len(failed), " ".join(failed))
if cut: notes += "。文字数の上限のため %d ページ目以降は含めていません(件数を減らして再実行してください)" % cut
return {"tsv": tsv, "count": len(out), "notes": notes, "log": "\n".join(log)}コードBの更新(取得失敗の印)は、前回の案内のとおりです。まだなら、先にそちらを入れてください。ファイルは、すべて更新してあります。
確認できていない点
待機(time.sleep)は、Difyの実行環境で動くか、確認していません。 私の環境では試せません。エラーが出たら、そのメッセージを貼ってください。動かない場合は、1回に取得するページ数を減らして、手で間隔をあけます。
詳細ページの取得も、確認画面が出る可能性があります。 今回の変更で減るのは、一覧ページへのアクセスだけです。それでも確認画面が出るなら、ブラウザで開いて、ページのソース(Ctrl + U)をコピーして貼る方式(完全な手動)を作ります。
確認画面が解除されたか、まだ分かっていません。時間をおいてから試してください。