
FAXの売上入力を自動化する仕組みの全体像〜Python+OCR+Playwrightで、受信から入力まで〜
はじめに
FAXの売上入力を、2時間から5分にした話を前に書きました。
(FAX記事のURL: https://note.com/endo_sw_engineer/n/n9cc749da8341)
この記事では、あの仕組みをエンジニア向けに、全体像から説明します。細かい実装は、続く記事で順に紹介するので、まずは「どんな部品が、どんな順番で動いているのか」をつかんでください。
システム構成

構成は、次のとおりです。
受信したFAXは、共有フォルダ(NAS)にPDFで保存されます。
処理用のPC(Windows)で、タスクスケジューラが10分ごとにPythonプログラムを起動します。
プログラムは、大きく「検知」「読み取り」「入力」の3つの部分でできています。
補正後のPDF、読み取り結果(CSV)、処理履歴、ログは、PCのローカルフォルダに残ります。
結果は通知で担当者に知らせ、担当者が確認します。
全体の流れ
受信したFAXが、Webシステムに入力されるまでを、6つのステップに分けています。

1回の実行で、フォルダを調べて処理し、終わったら終了します。常駐はしません。構成図の「検知」にあたるのが①〜③、「読み取り」が④、「入力」が⑤です。⑥の通知は、処理全体の結果をまとめて知らせます。
各ステップの役割
① 新着PDFの検知
共有フォルダを調べて、まだ処理していないPDFだけを対象にします。処理済みは履歴ファイルに1件ずつ記録し、二重処理を防ぎます。書き込み中のファイルは、サイズが変わらないことを確認してから扱います。
② 向きの補正と、書類の種類の判別
FAXは、上下が逆や横向きで届くことがあります。表のタイトルをOCRして、タイトルが読める向きを正しい向きとします。同時にタイトルから、どの書類かを判別します。
③ 保存
補正したPDFを、日付と書類名のファイル名で保存します。1つのPDFに種類の違うページが混ざっていれば、別のPDFに分割します。元のPDFは変更しません。
④ 読み取り
書類の種類ごとに、別々のモジュールで読み取ります。読み取るデータは、識別番号、重量、単価、等級などです。
1つの書類にすべての情報があるもの
2種類の書類を組み合わせないと、情報がそろわないもの(片方だけ届いたときは、もう片方が届くまで待ちます)
読み取り結果は、確定か要確認かの区別をつけて、CSVに出力します。
⑤ 入力
CSVの内容を、PlaywrightでWebシステムの画面に入力します。人が行っている操作(ログイン、該当する行を開く、入力、登録)を、そのまま再現しています。
⑥ 通知
処理の結果を、Windowsのトースト通知で知らせます。入力できなかったものや、目視での確認が必要なものも、ここで気づけます。
設計で決めたこと
1. 書類の種類ごとに、モジュールを分ける
書式が違う書類を1つのプログラムで処理すると、どこかを直したときに別の書類が壊れます。書類ごとに読み取りのモジュールを分けて、検知と入力は共通にしました。
2. 失敗を前提にして、安全側に倒す
OCRは間違えます。読み取りに自信のないものは、自動で確定させず、人が確認します。入力も、既定は「確認モード」(画面に入力するだけで、登録はしない)です。
3. 人に見える形にする
処理内容は、ログに1件ずつ記録します。入力できなかったものは、理由つきで通知します。自動化は、止まったときに気づけることが大切です。
使っている技術
Python
PyMuPDF(PDFの画像化と分割)
Tesseract + pytesseract(OCR)
Playwright(画面の自動入力)
winotify(Windowsの通知)
Windowsのタスクスケジューラ(10分ごとの定期実行)
次回以降
次の記事から、部品ごとに詳しく紹介します。
向きの補正と、書類の判別
読み取りの精度を上げる工夫(多数決と検算)
入力と運用の安全設計