メインコンテンツへスキップ

ローカルAI構築|2-5. 受付から経理へ。 領収書の「ここだけ確認」を試す

    前回までは、Hermes AgentからDraw Thingsに画像生成を頼んでいました。画像を作れるところから始めて、途中で接続が切れたらどうするか、
    出来た画像をどうやって元の依頼に戻すか、というところまで試しました。

    そこで作ってみたのが、依頼IDと作業の状態を残す、簡単な依頼台帳です。画像が返ってこないとき、すぐにもう一度送ると、同じ依頼が二重に動くかもしれません。いったん「結果確認待ち」にして、あとから見つけた画像を同じ依頼IDに紐づける。台帳は、そのためのものでした。

    今回は、その考え方を経理にも使ってみます。
    領収書を受付に渡すと、経理が読み取ってくれる。分からない項目だけ
    受付から聞かれ、答えたら元の依頼が更新される。
    経理をAIに手伝ってもらうなら、まずはこのくらいの仕事を
    任せてみたいです。

    今回の流れは、こんな感じです。

    1. 領収書を、文字と画像の両方で読んでみる

    まず、架空の領収書を1枚作りました。発行日は2026年11月15日、発行元は「架空文具店」。小計1,200円、消費税120円、合計1,320円です。
    小計と合計を両方書いたので、どちらの金額を拾ったかも確認できます。

    文字を選択できるPDFは、MacのPDFKitで文字を取り出しました。
    発行日・発行元・合計のラベルから値を拾い、合計はカンマと円表記を
    外して整数にします。このサンプルでは3項目とも一致しました。

    次に、同じ領収書を文字を選択できない、画像だけのPDFにしました。
    ページをPNGに変換し、同じMacのLM Studioで動かしている Gemma 4 E4B に渡します。結果は発行日・発行元・合計の3項目をJSONで返すようにしました。

    最初に返ってきたのは、日付と1,320円、それから「栄堂文具店」。
    日付と金額は合っていましたが、「架空文具店」は別の店名に読まれて
    いました。APIの応答は正常で、JSONの形もそろっていたので、元の画像と見比べて初めて気づきました。

    余白を除いて文字のある範囲を切り出し、「店名は印字どおり、一字ずつ
    転記する」と指示して再試行。今度は3項目とも一致しました。切り出しと指示を一緒に変えたので、どちらが効いたかはまだ分かりません。

    2. 読めない項目を「要確認」にする

    次は、店名の部分だけを白く塗った画像を用意しました。「発行元」というラベルと、日付・合計はそのままです。

    読めない値はJSONの null で返すようにしていたのですが、モデルが返したのは、文字列の "null" でした。最初のスクリプトはこれを「値がある」と
    判定して、読み取り済みにしてしまいました。

    そこで、文字列の "null" や空白だけの値を欠損として扱うように
    直しました。通常の画像と、店名を隠した画像をもう一度試した結果です。

    • 通常の画像:発行日・発行元・合計の3項目が一致し、「抽出済み」
      になりました。

    • 発行元を隠した画像:発行日と合計は一致し、発行元だけが「要確認」
      になりました。

    3. 「経理に渡しました」を履歴で確かめる

    ここから、Hermesの中で役を分けます。受付A1が依頼を受け、経理A2が
    読み取り用のコマンドを実行します。A2はLM Studioから読み取り結果を
    受け取り、A1へ返します。

    最初は、受付が「経理に依頼しました」という趣旨の返事をしました。
    そこで履歴を開いてみると、経理役のセッションは0件。別の試行では、受付が自分で読み取りコマンドを実行していました。どちらも受付の画面に返事は出ますが、今回確認したかった引き継ぎは起きていません。

    そこで、領収書はいったん脇に置き、以前成功した短いメモで委任を
    試し直しました。通常の起動条件にそろえると、受付の delegate_task が
    1回、整理担当の子セッションが1件記録され、結果が受付に戻りました。
    一時環境との違いのうち、どの設定が失敗に影響したかは切り分けられて
    いません。

    次に、子の担当が確認用の文字列を返すコマンドを1回実行。それが通ったので、通常の領収書と発行元を隠した領収書を順に渡しました。両方とも、受付が委任し、経理が読み取り、結果が受付に戻ったところまで履歴で確認できました。

    4. 回答待ちで閉じて、あとから続きを進める

    発行元を隠したケースでは、受付が発行元だけを聞いてきました。ここで
    いったんHermesを閉じ、同じセッションを開き直して「発行元は架空文具店です」と回答しました。

    日付と合計は引き継がれ、3項目がそろいました。ただ、最後に表示された状態は 「要確認」のまま。会話は再開できても、何をもって確認が終わったとするかは、別に決めておく必要がありました。

    そこで、回答を2通りに分けて試しました。

    • 「発行元は架空文具店です」と答えたら、「確認済み」にして、
      根拠に「本人回答」を残す。

    • 「まだ分かりません」と答えたら、発行元は空欄のまま、「要確認」を
      維持する。

    次に、一時的なSQLite台帳に別々の依頼IDで2件を登録し、この違いを台帳にも反映できるか試しました。明確な回答があった依頼だけ更新コマンドが1回動き、「まだ分かりません」の方では更新は0回。台帳を開き直しても、どちらが回答待ちかを確認できました。

    受付が質問したときに、返答の中で「要確認」という表示を省くこともありました。チャットを閉じても、台帳を見ればどの依頼が何の回答を待っているか分かる。 画像の「結果確認待ち」と同じように、ここでも台帳を持つ
    理由がありました。

    5. 一件の依頼として、受付から台帳更新まで通す

    最後に、ここまで別々に試した処理を、発行元を隠した架空領収書1件で
    つなぎました。受付に検証用の依頼IDとコマンドを渡して始めます。

    1. 受付A1が経理A2に委任。 A2が、同じMacのLM Studioで領収書を1回読み取る。

    2. 受付A1が一時台帳に登録。 日付と合計を保存し、同じ依頼IDを「要確認」にして、発行元だけを聞く。

    3. 自分が発行元を回答。 A1が台帳の同じ行を更新し、日付・発行元・合計をそろえて報告する。

    最後に台帳を読み取り専用で開き直しました。依頼は1件で、履歴には
    読み取り・登録・確認更新が1回ずつ。発行元は「架空文具店」、確認根拠は「本人回答」、状態は「確認済み」でした。回答後に経理への再委任や領収書の再読み取りも発生していませんでした。

    画像のときは、出来たファイルを元の依頼へ戻すために台帳を使いました。今回は、あとから返した自分の回答を元の依頼へ戻すのに使えました。

    次は、共通の実行基盤を組みます

    ここまでは、Hermesから画像生成を頼んだり、受付から経理に領収書を
    渡したりして、必要な動きを一つずつ試してきました。

    次回は、まず Hermesにどこまで任せて、依頼台帳や担当ごとの権限を
    どこで管理するか
    を決めます。今回までに試したことをもとに、各処理が
    共通で使える仕組みを組んでいきます。

    組み上がった構成で、依頼から結果が戻るまでを改めて通すのは
    第3部の予定です。٩( 'ω' )و

     
     
    いろんなデバイスやサービスのちょうどいいところを探しています。 調べて、悩んで、選択した過程をゆるく残していく設計室です。 猫を飼いたいですが、まだいません。

    あなたへのおすすめ