メインコンテンツへスキップ
見出し画像

AI×フロント:ReALM + Puppeteer + React による “視覚エージェントv2” 構成のすべて【2025年実装図+コード付き】



    第1章:なぜ“UIを操作するAI”が必要なのか?

    画像


    私たちはこれまで、AIに「テキストを理解させる」ことを中心に発展してきました。しかし2024年以降、注目されるのは「画面そのものを読み、操作するAI」です。

    たとえば次のような実務ニーズがあります:

    • 社内SaaSの操作支援(経費精算、勤怠申請)

    • 高齢者支援アプリにおける画面読み上げ案内

    • アクセシビリティ向上のための視覚認識補助

    これらはすべて、“テキスト”ではなく“画面の構成”を理解しなければ成り立ちません。従来のOCR+LLMでは限界がありました。UIの構造的意味(階層・関係・順序)を失いやすく、状況に応じた動作の選択も困難だったのです。

    この変化の背景には、SeleniumやRPA(Robotic Process Automation)の限界もあります。画面の変更に弱く、UI部品の意味を理解しない従来型の自動化ツールでは、複雑な業務ナビゲーションには対応できません。

    その限界を突破するのが、Google DeepMindの「ReALM(Reference Resolution as Language Modeling)」です。本稿ではこの技術を基盤とし、Puppeteer(操作)、React(UI)、OpenDevin(エージェント制御)を統合する“視覚エージェントv2”構成を紹介します。


    第2章:ReALMとUI理解技術の進化

    画像


    ReALMは2024年にDeepMindが発表した「画面文脈を自然言語として処理可能にするLLM補助技術」です。最大の特徴は、“GUIの構成”をそのままLLMに取り込めることです。

    仕組み:

    • スクリーンショットを取得

    • UIコンポーネントを階層的に解析

    • 要素と操作文脈をトークン化

    • LLMがその構造と意味を解釈

    GPT-4Vのような画像認識系との違いは、構造にあります。GPT-4Vは画像をピクセルベースで理解しようとしますが、ReALMはボタン・ラベル・入力欄などの論理関係を理解対象とします。

    実験では、ReALMは「英語・日本語・UIの並び」が混在するアプリケーションでも高い認識率を示しました。OCR+LLMの組み合わせでは不明瞭になっていた「どのボタンを押すべきか?」「この項目は何を意味するのか?」という文脈が、ReALMでは明確になります。


    第3章:Puppeteerで画面を“操作”するAI構成の基礎

    画像


    ReALMは「理解」に強い一方、「操作」はできません。ここで重要になるのがPuppeteerです。これはNode.js製のヘッドレスブラウザ操作ライブラリで、指定したDOMをクリック・入力・スクロールなど自動操作できます。

    基本例:

    const puppeteer = require('puppeteer');
    (async () => {
      const browser = await puppeteer.launch();
      const page = await browser.newPage();
      await page.goto('https://example.com');
      await page.click('#submit-button');
      await browser.close();
    })();
    

    たとえば次のような業務が自動化できます:

    • 勤怠申請画面での「日付+理由」入力+申請ボタン押下

    • 出張精算のための「経路+金額+メモ」登録

    • 顧客情報の一括入力や確認画面の自動遷移

    PuppeteerはReALMによって認識された「ボタン」や「リンク」を、実際にクリックする実行エンジンとして機能します。


    第4章:React UI × AI制御のリアルな設計

    画像


    企業Webシステムの多くはReactで構築されています。そのため、AIがReactコンポーネントの構造や状態管理(useState, propsなど)を把握し、動的なUI変化に対応できることが重要です。

    たとえば「あるタブが開かれたときにだけ表示されるボタン」や、「入力後にバリデーションが動くフォーム」などは、状態とイベントを正しく処理しなければ操作ミスが起こります。

    AIエージェントは以下のような情報を前提に設計します:

    • 各コンポーネントの階層

    • 表示状態(非表示/表示中)

    • イベントハンドラと発火条件

    • ユーザー操作後の画面遷移

    React上にReALMが抽出した構造情報をマッピングし、Puppeteer経由で制御する構成を取ります。


    第5章:OpenDevinでマルチタスクを自律操作させる

    画像


    OpenDevinは「AIに複数のタスクを順序立てて遂行させるエージェントフレームワーク」です。シェル操作・ブラウザ制御・自然言語推論を組み合わせて動作可能です。

    ReALM + Puppeteer + Reactという構成に、OpenDevinを統合することで:

    • 画面の理解(ReALM)

    • 実行(Puppeteer)

    • 意図の保持と再判断(Devin) という三位一体の“視覚エージェント”が誕生します。

    たとえば次のようなプロンプト: 「この従業員の扶養手当申請画面を開いて、備考欄に“承認済”と入力し、確認画面へ進んでください」

    → ReALMがUI認識 → Devinが操作順を構築 → Puppeteerが実行、という流れです。


    第6章:視覚エージェントv2の構成図とコード解説

    画像


    構成図(フローモデル):

    1. ユーザーの入力(自然文) → OpenDevin

    2. OpenDevinがReALM APIで画面構造取得

    3. ReALMが画面要素を構造化 → Devinがタスク分解

    4. PuppeteerがReact UIを実行操作

    5. 状態変化を再取得しながらループ処理

    要点コード例(簡略):

    # ReALM側で要素抽出
    import requests
    res = requests.post("https://api.realm.ai/v1/parse", files={"img": open("screenshot.png", "rb")})
    elements = res.json()["elements"]
    
    # Devinで操作タスク生成
    prompt = f"Open the form and fill 'Approved' in the notes field."
    response = openai.ChatCompletion.create(...)
    
    # Puppeteerで実行(Node.js)
    await page.type('#notes', '承認済')
    await page.click('#next')
    

    第7章:中小企業が“ノーコード以上”に活用する導入モデル

    画像


    本構成は「ノーコードでは表現しきれない複雑なUI操作」を自然言語ベースで実現できるという点で、以下のような企業導入に向いています:

    • 会計や労務SaaSのヘルプボット化

    • 顧客管理画面の自動ナビゲーション

    • システム管理者の“代理操作”ツール

    たとえば「社内申請ツールの入力手順案内をAIが代替」「よくあるエラー解決を対話でナビゲート」などが挙げられます。

    フォーム入力や設定画面など「UI操作が頻繁な業務」で特に効果を発揮します。たとえば:

    • 日次で30件の手作業 → 月900件の定型処理をAIが肩代わり

    • 年間で最大300時間の工数削減に直結

    中小企業でも、既存のSaaSやReactアプリに対し、簡単なAPIゲートウェイとAIプロンプト設計だけで導入が可能です。


    第8章:今後の展望とGemini/GPT-5との連携未来

    画像


    今後のトレンドは、「マルチモーダル連携による完全自動化」です。

    • Gemini UltraやGPT-5が音声・画像・テキスト・操作を一貫処理

    • ReALMが「スクリーン知覚の基盤」

    • Devinが「目標分解エンジン」

    • Puppeteerが「実行アーム」

    これらの連携により、「AIが見て、理解し、考えて、クリックする」というプロセスが本格的に実用化されます。

    画像

    将来的には音声による業務命令だけで、業務アプリケーション上での操作・確認・文書化までを完結させる“業務AIエージェント”が普及するでしょう。


    【各関連URLまとめ】

    🔹 ReALM(Reference Resolution as Language Modeling) 
    ・arXiv 論文タイトル:ReALM: Reference Resolution As Language Modeling
    → https://arxiv.org/abs/2403.20329 
    ・ACL Anthology(SIGDIAL 2024採録)
    → https://aclanthology.org/2024.sigdial-1.5/ 
    ・Apple チームによる TechXplore記事(概要紹介)
    → https://techxplore.com/news/2024-04-apple-ai-outperforms-gpt-tasks.html 
    ※ DeepMindではなく主にAppleの研究チームによる発表です。

    🔹 Puppeteer 
    ・公式サイト
    → https://pptr.dev/ 
    ・GitHub リポジトリ
    → https://github.com/puppeteer/puppeteer

    🔹 React 
    ・公式ドキュメント

    → https://react.dev/ 
    ・日本語版ドキュメント
    → https://ja.react.dev/



    あなたへのおすすめ