
AI×フロント:ReALM + Puppeteer + React による “視覚エージェントv2” 構成のすべて【2025年実装図+コード付き】
第1章:なぜ“UIを操作するAI”が必要なのか?

私たちはこれまで、AIに「テキストを理解させる」ことを中心に発展してきました。しかし2024年以降、注目されるのは「画面そのものを読み、操作するAI」です。
たとえば次のような実務ニーズがあります:
社内SaaSの操作支援(経費精算、勤怠申請)
高齢者支援アプリにおける画面読み上げ案内
アクセシビリティ向上のための視覚認識補助
これらはすべて、“テキスト”ではなく“画面の構成”を理解しなければ成り立ちません。従来のOCR+LLMでは限界がありました。UIの構造的意味(階層・関係・順序)を失いやすく、状況に応じた動作の選択も困難だったのです。
この変化の背景には、SeleniumやRPA(Robotic Process Automation)の限界もあります。画面の変更に弱く、UI部品の意味を理解しない従来型の自動化ツールでは、複雑な業務ナビゲーションには対応できません。
その限界を突破するのが、Google DeepMindの「ReALM(Reference Resolution as Language Modeling)」です。本稿ではこの技術を基盤とし、Puppeteer(操作)、React(UI)、OpenDevin(エージェント制御)を統合する“視覚エージェントv2”構成を紹介します。
第2章:ReALMとUI理解技術の進化

ReALMは2024年にDeepMindが発表した「画面文脈を自然言語として処理可能にするLLM補助技術」です。最大の特徴は、“GUIの構成”をそのままLLMに取り込めることです。
仕組み:
スクリーンショットを取得
UIコンポーネントを階層的に解析
要素と操作文脈をトークン化
LLMがその構造と意味を解釈
GPT-4Vのような画像認識系との違いは、構造にあります。GPT-4Vは画像をピクセルベースで理解しようとしますが、ReALMはボタン・ラベル・入力欄などの論理関係を理解対象とします。
実験では、ReALMは「英語・日本語・UIの並び」が混在するアプリケーションでも高い認識率を示しました。OCR+LLMの組み合わせでは不明瞭になっていた「どのボタンを押すべきか?」「この項目は何を意味するのか?」という文脈が、ReALMでは明確になります。
第3章:Puppeteerで画面を“操作”するAI構成の基礎

ReALMは「理解」に強い一方、「操作」はできません。ここで重要になるのがPuppeteerです。これはNode.js製のヘッドレスブラウザ操作ライブラリで、指定したDOMをクリック・入力・スクロールなど自動操作できます。
基本例:
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('https://example.com');
await page.click('#submit-button');
await browser.close();
})();
たとえば次のような業務が自動化できます:
勤怠申請画面での「日付+理由」入力+申請ボタン押下
出張精算のための「経路+金額+メモ」登録
顧客情報の一括入力や確認画面の自動遷移
PuppeteerはReALMによって認識された「ボタン」や「リンク」を、実際にクリックする実行エンジンとして機能します。
第4章:React UI × AI制御のリアルな設計

企業Webシステムの多くはReactで構築されています。そのため、AIがReactコンポーネントの構造や状態管理(useState, propsなど)を把握し、動的なUI変化に対応できることが重要です。
たとえば「あるタブが開かれたときにだけ表示されるボタン」や、「入力後にバリデーションが動くフォーム」などは、状態とイベントを正しく処理しなければ操作ミスが起こります。
AIエージェントは以下のような情報を前提に設計します:
各コンポーネントの階層
表示状態(非表示/表示中)
イベントハンドラと発火条件
ユーザー操作後の画面遷移
React上にReALMが抽出した構造情報をマッピングし、Puppeteer経由で制御する構成を取ります。
第5章:OpenDevinでマルチタスクを自律操作させる

OpenDevinは「AIに複数のタスクを順序立てて遂行させるエージェントフレームワーク」です。シェル操作・ブラウザ制御・自然言語推論を組み合わせて動作可能です。
ReALM + Puppeteer + Reactという構成に、OpenDevinを統合することで:
画面の理解(ReALM)
実行(Puppeteer)
意図の保持と再判断(Devin) という三位一体の“視覚エージェント”が誕生します。
たとえば次のようなプロンプト: 「この従業員の扶養手当申請画面を開いて、備考欄に“承認済”と入力し、確認画面へ進んでください」
→ ReALMがUI認識 → Devinが操作順を構築 → Puppeteerが実行、という流れです。
第6章:視覚エージェントv2の構成図とコード解説

構成図(フローモデル):
ユーザーの入力(自然文) → OpenDevin
OpenDevinがReALM APIで画面構造取得
ReALMが画面要素を構造化 → Devinがタスク分解
PuppeteerがReact UIを実行操作
状態変化を再取得しながらループ処理
要点コード例(簡略):
# ReALM側で要素抽出
import requests
res = requests.post("https://api.realm.ai/v1/parse", files={"img": open("screenshot.png", "rb")})
elements = res.json()["elements"]
# Devinで操作タスク生成
prompt = f"Open the form and fill 'Approved' in the notes field."
response = openai.ChatCompletion.create(...)
# Puppeteerで実行(Node.js)
await page.type('#notes', '承認済')
await page.click('#next')
第7章:中小企業が“ノーコード以上”に活用する導入モデル

本構成は「ノーコードでは表現しきれない複雑なUI操作」を自然言語ベースで実現できるという点で、以下のような企業導入に向いています:
会計や労務SaaSのヘルプボット化
顧客管理画面の自動ナビゲーション
システム管理者の“代理操作”ツール
たとえば「社内申請ツールの入力手順案内をAIが代替」「よくあるエラー解決を対話でナビゲート」などが挙げられます。
フォーム入力や設定画面など「UI操作が頻繁な業務」で特に効果を発揮します。たとえば:
日次で30件の手作業 → 月900件の定型処理をAIが肩代わり
年間で最大300時間の工数削減に直結
中小企業でも、既存のSaaSやReactアプリに対し、簡単なAPIゲートウェイとAIプロンプト設計だけで導入が可能です。
第8章:今後の展望とGemini/GPT-5との連携未来

今後のトレンドは、「マルチモーダル連携による完全自動化」です。
Gemini UltraやGPT-5が音声・画像・テキスト・操作を一貫処理
ReALMが「スクリーン知覚の基盤」
Devinが「目標分解エンジン」
Puppeteerが「実行アーム」
これらの連携により、「AIが見て、理解し、考えて、クリックする」というプロセスが本格的に実用化されます。

将来的には音声による業務命令だけで、業務アプリケーション上での操作・確認・文書化までを完結させる“業務AIエージェント”が普及するでしょう。
【各関連URLまとめ】
🔹 ReALM(Reference Resolution as Language Modeling)
・arXiv 論文タイトル:ReALM: Reference Resolution As Language Modeling
→ https://arxiv.org/abs/2403.20329
・ACL Anthology(SIGDIAL 2024採録)
→ https://aclanthology.org/2024.sigdial-1.5/
・Apple チームによる TechXplore記事(概要紹介)
→ https://techxplore.com/news/2024-04-apple-ai-outperforms-gpt-tasks.html
※ DeepMindではなく主にAppleの研究チームによる発表です。
🔹 Puppeteer
・公式サイト
→ https://pptr.dev/
・GitHub リポジトリ
→ https://github.com/puppeteer/puppeteer
🔹 React
・公式ドキュメント
→ https://react.dev/
・日本語版ドキュメント
→ https://ja.react.dev/