メインコンテンツへスキップ
見出し画像

AIが覚えた画面操作をコードにする「CUA Agent Kit」を Mac で動かしてみた

    はじめに:毎回 AI に操作させるのは、もったいない

    社内システムの画面で、同じ手順を何百回も繰り返す仕事があります。問い合わせを検索して開き、担当と優先度を選び、メモを書いて保存する。API(システム同士をつなぐ窓口)があればプログラムから一気に処理できますが、古い業務システムでは「最後の1手は画面でしかできない」ことがよくあります。

    ここ1年ほどで、AI が画面を見ながらクリックや入力をする computer use(コンピューター操作) のエージェントが実用的になりました。手順を文章で伝えるだけで、AI が画面を読み取って操作してくれます。ただし、AI は毎回画面を撮影して考え、操作を決めます。同じ作業を1日に1,000回させれば、1,000回分の API 料金と待ち時間がかかり、操作の仕方も毎回少しずつ違います。

    2026年11月16日、米国の大手ヘルスケア企業 CVS Health が、この問題に対する1つの答えを 「CUA Agent Kit」 としてオープンソースで公開しました。考え方は「やり方を見つけるのは AI、同じことを繰り返すのは普通のコード」です。

    画像

    図1:毎回 AI に操作させる方式と、CUA Agent Kit の方式の違い

    この記事では、CUA Agent Kit が何をするツールなのかを整理したうえで、実際に手元の Mac(Apple M5 Max)で動かして確かめた結果を紹介します。同梱のサンプルだけでなく、自分で作った日本語の業務画面でも「AI の探索 → Codex によるコード化 → コードでの繰り返し実行 → 画面が変わったときの修正」までを一周しました。録画とスクリーンショットも載せています。

    この記事の想定読者は、次のような方です。

    • 業務の画面操作を自動化したいが、RPA(画面操作を自動化する従来型のツール)は作るのも直すのも大変だと感じている方

    • computer use のエージェントを試したが、毎回の費用や安定性が気になっている方

    • Playwright(ブラウザを操作するテスト・自動化ライブラリ)や Codex を使ったことがあり、組み合わせ方を知りたいエンジニアの方

    1. 何が公開されたのか

    OpenAI の医療向け発表の中で紹介された

    CUA Agent Kit は、OpenAI が 2026年11月16日に公開した記事「Advancing computer-use agents for healthcare teams」の中で紹介されました。記事は医療現場での computer use の成果をまとめたもので、Abridge、Ambience、Cigna Healthcare などと並んで、CVS Health の取り組みが載っています。

    画像

    図2:OpenAI の発表記事のうち CVS Health の節(2026-11-17 に撮影)

    記事によると、CVS Health は書類の送付、紹介状の処理、専門医への相談の支援といった事務作業を、computer use で自動化しています。本番環境では、数か月分たまっていた書類送付の滞留を1回の週末で解消した例や、1日あたり数万件の相談についてシステム上の操作を担っている例が挙げられています。また、操作の確認には検証用のチェックと人による監督、画面写真と操作記録を使っていると説明されています。この進め方を誰でも使える手順としてまとめたものが、今回公開された Agent Kit です。

    GitHub で Apache-2.0 ライセンスで公開

    リポジトリは github.com/cvs-health/cua-agent-kit です。ライセンスは Apache-2.0 で、商用でも使えます。OpenAI の Agents SDK(エージェントを組み立てるための公式ライブラリ)の上に作られています。README の最後には、PlatformCon 2026 での Kelsey Hightower 氏の講演「Zero Token Architecture」に着想を得た、と書かれています。トークン(AI の処理単位で、料金の基準)を使わずに済むところは使わない、という発想です。

    画像

    図3:リポジトリのトップ(2026-11-17 時点、コミット 965ee25)

    フォルダ構成を見ると、このキットの性格がよく分かります。.codex/skills に Codex(OpenAI のコーディングエージェント)用の「スキル」(作業手順書)が入っていて、AI の記録からコードを書く工程は Codex に任せる設計です。windows-host には Windows の仮想マシンで動かすためのスクリプトがあり、ブラウザだけでなく Windows のデスクトップアプリも対象にしています。

    2. CUA Agent Kit で何ができるのか

    3つのコマンドで「探索 → コード化 → 実行」

    使い方は3段階です。最初に AI が画面を操作して手順を見つけ(探索)、その記録を Codex がコードに書き直し(コード化)、以降はそのコードを動かします(実行)。

    画像

    図4:3つの段階と、その間に挟まる「記録」

    それぞれの段階の中身は次のとおりです。

    段階コマンド動くものLLM(大規模言語モデル)の呼び出し(1) 探索uv runcua-agent-discoverOpenAI のcomputer use(既定は gpt-6-sol)が Playwright 経由でブラウザを操作あり(2) コード化Codex に依頼付属スキルcodify-playwright-workflow が記録を読んでコードを書くあり(Codex)(3) 実行uv runcua-agent-run書かれたPlaywright のコードなし(API キーも不要)\begin{array}{l|l|l|l}\hline \begin{array}{l}\textbf{段階}\end{array} & \begin{array}{l}\textbf{コマンド}\end{array} & \begin{array}{l}\textbf{動くもの}\end{array} & \begin{array}{l}\textbf{LLM(大規模}\\\textbf{言語モデル)}\\\textbf{の呼び出し}\end{array}\\ \hline \begin{array}{l}\text{(1) 探}\\\text{索}\end{array} & \begin{array}{l}\text{uv run}\\\text{cua-agent}\\\text{-discover}\end{array} & \begin{array}{l}\text{OpenAI の}\\\text{computer use(既}\\\text{定は gpt-6-sol)}\\\text{が Playwright 経}\\\text{由でブラウザを操}\\\text{作}\end{array} & \begin{array}{l}\text{あり}\end{array}\\ \hline \begin{array}{l}\text{(2) コー}\\\text{ド化}\end{array} & \begin{array}{l}\text{Codex に依}\\\text{頼}\end{array} & \begin{array}{l}\text{付属スキル}\\\text{codify-playwrigh}\\\text{t-workflow が記}\\\text{録を読んでコード}\\\text{を書く}\end{array} & \begin{array}{l}\text{あり(Codex}\\\text{)}\end{array}\\ \hline \begin{array}{l}\text{(3) 実}\\\text{行}\end{array} & \begin{array}{l}\text{uv run}\\\text{cua-agent}\\\text{-run}\end{array} & \begin{array}{l}\text{書かれた}\\\text{Playwright のコー}\\\text{ド}\end{array} & \begin{array}{l}\text{なし(API キー}\\\text{も不要)}\end{array}\\ \hline\end{array}

    ポイントは、探索と実行が同じ形式の「記録」を残すことです。探索では、AI の操作ごとに画面写真を撮り、クリックした位置にあった部品の情報を events.jsonl に1行ずつ書き、Playwright の trace.zip(操作の経過を後から再生できる記録)も保存します。

    画像

    図5:手元の探索1回分の記録。クリックの座標だけでなく、その位置にあった部品の名前まで残る

    記録の1行が、コードの1行になる仕組み

    コード化の要は、この「部品の情報」です。AI 自身は画面の座標でクリックしているだけですが、キットはクリックの瞬間に、その座標にある要素の役割(role)や読み上げ用の名前(accessible name)を調べて記録します。Codex はそれを手がかりに、座標ではなく「担当チームという名前のプルダウン」のように部品を指すコードを書きます。

    画像

    図6:手元の探索記録と、Codex が実際に書いたコードの対応

    付属スキルには、部品の指し方の優先順位がはっきり書かれています。役割と名前、ラベル、テスト ID、プレースホルダー、表示文字、id の順で、CSS の指定は最後の手段です。また「待ち時間を秒数で決め打ちしない」「AI の完了報告ではなく、最後の画面や記録で成功を確かめる」といったルールも決められています。従来の RPA で起きがちだった「座標がずれて止まる」「念のための待ちが積み重なって遅い」を避ける作りです。

    ブラウザ・Windows・AI のまま、の使い分け

    キットの docs/choosing-an-approach.md は、自動化のやり方を4つに分けています。判断の順番に並べ直すと次のようになります。

    画像

    図7:どのやり方を選ぶか

    Windows アプリの場合は、Windows の仮想マシン上で探索し、pywinauto(Windows アプリの部品を操作する Python ライブラリ)のコードにします。Citrix のように画面が画像としてしか届かない環境では部品の情報が取れないので、コード化せずに AI のまま使う選択肢も用意されています。書類を読んで判断する工程が混ざる場合の「ハイブリッド」は考え方の紹介にとどまっていて、既製の仕組みはありません。今回の記事では、ブラウザの方式を試しています。

    3. 精度はどれくらいか

    OpenAI が公表した computer use の成績

    キット自体の精度の数値は公表されていません。土台となる computer use については、OpenAI が同じ記事で医療業務での成績を公表しています。

    画像

    図8:OpenAI の記事の評価の節(2026-11-17 に撮影)

    画像

    図9:OpenAI の公表値の整理

    数字を整理すると、次のとおりです。いずれも推論の強さを最大にした条件です。

    評価モデル結果電子カルテの受信箱業務(医師が評価)GPT-6Astra臨床的に安全 99%(325タスク)、とても/非常に役立つ 93%(646評価)HealthAdminBench(Stanford の事務作業ベンチマーク)GPT-6Astra評価基準の得点の94.3%同上GPT-6Luna91.8%、1タスク約 8.5セント(Astra より98% 安い)\begin{array}{l|l|l}\hline \begin{array}{l}\textbf{評価}\end{array} & \begin{array}{l}\textbf{モデル}\end{array} & \begin{array}{l}\textbf{結果}\end{array}\\ \hline \begin{array}{l}\text{電子カルテの受信箱業}\\\text{務(医師が評価)}\end{array} & \begin{array}{l}\text{GPT-6}\\\text{Astra}\end{array} & \begin{array}{l}\text{臨床的に安全 99\%(}\\\text{325タスク)、とても/}\\\text{非常に役立つ 93\%(}\\\text{646評価)}\end{array}\\ \hline \begin{array}{l}\text{HealthAdminBench(}\\\text{Stanford の事務作業}\\\text{ベンチマーク)}\end{array} & \begin{array}{l}\text{GPT-6}\\\text{Astra}\end{array} & \begin{array}{l}\text{評価基準の得点の}\\\text{94.3\%}\end{array}\\ \hline \begin{array}{l}\text{同上}\end{array} & \begin{array}{l}\text{GPT-6}\\\text{Luna}\end{array} & \begin{array}{l}\text{91.8\%、1タスク約 8.5}\\\text{セント(Astra より}\\\text{98\% 安い)}\end{array}\\ \hline\end{array}

    ここで押さえておきたいのは、これらは「毎回 AI が操作する」場合の成績だということです。9割を超えていても、残りの数%は失敗します。CUA Agent Kit は、成功を確認できた操作をコードにして固定することで、2回目以降のばらつきそのものをなくそうとしています。そこで、手元で「AI の探索は何回成功するか」「コードにした後は何回成功するか」を測りました。

    手元の実測:AI 操作とコード実行を比べた

    検証には、架空のデータだけを使う日本語の「サポート受付」アプリを自作しました。ログインして問い合わせ番号 INQ-2048 を検索し、開いて、担当チーム(プルダウン)を「請求」、優先度(ラジオボタン)を「高」にし、対応メモを入力し、「お客様に連絡済み」にチェックを入れて保存する、という作業です。似た番号・似た件名の問い合わせも混ぜてあります。

    成否は AI の申告ではなく、最後の画面に表示された内容を DOM(画面の部品の構造)から読み取り、期待した文字列と完全に一致するかで判定しました。

    画像

    図10:手元の実測のまとめ(数値の元データは記事フォルダの research/summary.json)

    やり方成功1回の時間(中央値)1回の費用(中央値)操作回数AI が操作(gpt-6-sol、Linux)5/516.7 秒0.047ドル19〜21回AI が操作(gpt-6-luna、Linux)4/5(失敗1回は APIエラー)20.9 秒0.0024ドル15〜24回Codex が書いたコード(Mac)10/100.78 秒0 ドル—同梱サンプルのコード(Mac、参考)10/100.60 秒0 ドル—\begin{array}{l|l|l|l|l}\hline \begin{array}{l}\textbf{やり方}\end{array} & \begin{array}{l}\textbf{成功}\end{array} & \begin{array}{l}\textbf{1回の時}\\\textbf{間(中央}\\\textbf{値)}\end{array} & \begin{array}{l}\textbf{1回の費}\\\textbf{用(中央}\\\textbf{値)}\end{array} & \begin{array}{l}\textbf{操作回数}\end{array}\\ \hline \begin{array}{l}\text{AI が操作(}\\\text{gpt-6-sol、}\\\text{Linux)}\end{array} & \begin{array}{l}\text{5/5}\end{array} & \begin{array}{l}\text{16.7 秒}\end{array} & \begin{array}{l}\text{0.047}\\\text{ドル}\end{array} & \begin{array}{l}\text{19〜21}\\\text{回}\end{array}\\ \hline \begin{array}{l}\text{AI が操作(}\\\text{gpt-6-luna、}\\\text{Linux)}\end{array} & \begin{array}{l}\text{4/5(失敗1}\\\text{回は API}\\\text{エラー)}\end{array} & \begin{array}{l}\text{20.9 秒}\end{array} & \begin{array}{l}\text{0.0024}\\\text{ドル}\end{array} & \begin{array}{l}\text{15〜24}\\\text{回}\end{array}\\ \hline \begin{array}{l}\text{Codex が書い}\\\text{たコード(Mac}\\\text{)}\end{array} & \begin{array}{l}\text{10/10}\end{array} & \begin{array}{l}\text{0.78 秒}\end{array} & \begin{array}{l}\text{0 ドル}\end{array} & \begin{array}{l}\text{—}\end{array}\\ \hline \begin{array}{l}\text{同梱サンプル}\\\text{のコード(Mac、}\\\text{参考)}\end{array} & \begin{array}{l}\text{10/10}\end{array} & \begin{array}{l}\text{0.60 秒}\end{array} & \begin{array}{l}\text{0 ドル}\end{array} & \begin{array}{l}\text{—}\end{array}\\ \hline\end{array}

    AI の探索は、gpt-6-sol で5回すべて成功しました。操作回数は5回中4回が19回でほぼ同じで、安定しています。安い gpt-6-luna も、作業としての失敗はありませんでした(1回は OpenAI 側の一時的なエラーで止まりました)。ただし操作回数が15〜24回とばらつき、時間も長めでした。

    コードにすると、1回あたり約0.78秒になりました。AI の約16.7秒と比べて約21倍速く、LLM を呼ばないので費用もかかりません。1,000回に直すと、gpt-6-sol では約47ドル・約4.6時間、コードでは約13分です。

    コード化には、Codex(gpt-6-astra、推論 high)で約6分かかりました。使ったトークンは入力約110万(うち約103万はキャッシュ)、出力約1.4万です。今回は ChatGPT のアカウントで Codex を使ったので請求はありませんが、API 料金に換算すると約2.4ドルです。gpt-6-sol の探索なら約51回分、gpt-6-luna なら約1,000回分にあたります。何度も繰り返す作業ほど、コード化の元が取れやすいということです。

    実際の動きは次の録画のとおりです。上が AI の探索(約20秒)、下が Codex の書いたコードでの実行(1秒未満)です。

    画像

    図11:AI による探索(gpt-6-sol、Linux コンテナ内、2倍速)。赤い丸は録画用に表示したクリック位置です

    画像

    図12:コードによる実行(Mac、LLM なし、4分の1の速さに落として表示)。各画面はコードが段階ごとに記録した画面写真です

    4. Mac でのセットアップと使い方

    ここからは、実際に手元で行った手順を順番に紹介します。全体の流れは次の図のとおりです。

    画像

    図13:導入から1周するまでの手順

    環境

    手元の環境は次のとおりです。

    項目バージョンMacApple M5 Max、macOS 26.6.2Python3.12.15(キットは 3.12 以上が必要)uv0.12.22(Python のパッケージ管理ツール)Playwright1.64.1openai-agents0.24.0Codex CLI0.159.2(コード化に使用)Docker29.7.2(プルダウンのある画面の探索に使用)キットmain ブランチ、コミット 965ee25\begin{array}{l|l}\hline \begin{array}{l}\textbf{項目}\end{array} & \begin{array}{l}\textbf{バージョン}\end{array}\\ \hline \begin{array}{l}\text{Mac}\end{array} & \begin{array}{l}\text{Apple M5 Max、macOS 26.6.2}\end{array}\\ \hline \begin{array}{l}\text{Python}\end{array} & \begin{array}{l}\text{3.12.15(キットは 3.12 以上が必要)}\end{array}\\ \hline \begin{array}{l}\text{uv}\end{array} & \begin{array}{l}\text{0.12.22(Python のパッケージ管理ツー}\\\text{ル)}\end{array}\\ \hline \begin{array}{l}\text{Playwright}\end{array} & \begin{array}{l}\text{1.64.1}\end{array}\\ \hline \begin{array}{l}\text{openai-agen}\\\text{ts}\end{array} & \begin{array}{l}\text{0.24.0}\end{array}\\ \hline \begin{array}{l}\text{Codex CLI}\end{array} & \begin{array}{l}\text{0.159.2(コード化に使用)}\end{array}\\ \hline \begin{array}{l}\text{Docker}\end{array} & \begin{array}{l}\text{29.7.2(プルダウンのある画面の探索に}\\\text{使用)}\end{array}\\ \hline \begin{array}{l}\text{キット}\end{array} & \begin{array}{l}\text{main ブランチ、コミット 965ee25}\end{array}\\ \hline\end{array}

    ステップ1:取得してインストールする

    uv が入っていれば、インストールは数十秒で終わります。

    # リポジトリを取得する
    git clone https://github.com/cvs-health/cua-agent-kit.git
    cd cua-agent-kit
    
    # Python の依存パッケージを入れる(.venv が作られる)
    uv sync
    
    # Playwright 用の Chromium を入れる
    uv run playwright install chromium
    
    画像

    図14:セットアップの実行結果

    手元では uv sync が約4秒、.venv は 285MB でした。Chromium の初回ダウンロードは約17秒です。

    ステップ2:同梱サンプルを動かす(API キー不要)

    キットには「Care Intake」という架空の紹介状受付アプリと、それを操作するコード化済みのワークフローが同梱されています。まずはこれで、コードによる実行を体験できます。API キーはいりません。

    # ターミナル1:サンプルアプリを起動する(http://127.0.0.1:8081)
    uv run python sample_app/app.py
    
    # ターミナル2:コード化済みのワークフローを実行する(LLM なし)
    uv run cua-agent-run
    

    既定ではブラウザが表示されます。画面を出さずに動かしたいときは、先頭に PLAYWRIGHT_HEADLESS=1 を付けます。

    画像

    図15:同梱サンプルのコード実行。0.6秒ほどで終わる

    手元では10回続けて実行し、10回とも成功しました(中央値0.60秒)。実行ごとに artifacts/deterministic/<実行ID>/ に画面写真と記録が残ります。

    ステップ3:AI による探索を動かす

    次に、同じサンプルを AI に操作させてみます。ここで OpenAI の API キーが必要になります。リポジトリ直下に .env を作ります。

    # .env(リポジトリ直下。Git には含まれない設定)
    OPENAI_API_KEY=<YOUR_API_KEY>
    DISCOVERY_BACKEND=browser
    START_URL=http://127.0.0.1:8081
    WORKFLOW_ACCOUNT_JSON='{"username":"demo","password":"demo-password"}'
    

    AI に伝える手順は src/cua_agent_kit/discovery/prompt.py に英語で書かれています。サンプルでは「REF-1001 を検索し、Jordan Ellis の理学療法であることを確かめ、2027-04-15 09:30 に予約して確定する」という内容です。

    # AI に操作させる。LOG_LEVEL=DEBUG で AI の操作内容も表示される
    LOG_LEVEL=DEBUG uv run cua-agent-discover
    
    画像

    図16:AI による探索のログ。1回の指示で複数のクリックと入力をまとめて実行している

    画像

    図17:同梱サンプルでの探索の録画(1.5倍速)

    同梱サンプルでの探索は5回とも成功し、中央値は約9.7秒、費用は約0.028ドルでした。なお図16のログには、パスワードの一部が見えている箇所があります。理由は「5. 使う前に知っておきたい注意」で説明します。

    ステップ4:自分の画面の手順を書く

    ここからが本番です。自作のサポート受付アプリ(http://127.0.0.1:8082)を対象に、prompt.py の手順を日本語で書き換えました。手順は日本語でも問題なく伝わりました。

    # src/cua_agent_kit/discovery/prompt.py(ブラウザ用の手順だけ書き換えた)
    def workflow_prompt(username: str, password: str) -> str:
        prompt = f"""
            ユーザー名 {username}、パスワード {password} でサインインしてください。
    
            問い合わせ番号 INQ-2048 を検索して開き、件名が「請求書の金額が二重になっている」
            であることを確認してください。
    
            担当チームを「請求」、優先度を「高」にし、対応メモに
            「二重請求を確認し、差額を返金手配します」と入力してください。
            「お客様に連絡済み」にチェックを入れて、更新を保存してください。
    
            「更新しました」の画面に INQ-2048、請求、優先度 高、連絡済み、対応メモが
            表示されていることを確認したら終了してください。
        """
        return prompt.strip()
    

    .env の START_URL と WORKFLOW_ACCOUNT_JSON も、自作アプリのものに変えます。{username} と {password} は、実行時に .env の値で置き換えられます。ログインの手順をコードで用意しておく必要はありません。コード化のときに Codex がログインもコードにしてくれます。

    つまずき1:Mac ではプルダウンで AI が迷子になる

    最初に Mac で探索したところ、失敗しました。AI はログインから問い合わせを開くところまでは順調でしたが、「担当チーム」のプルダウンで止まりました。クリック、矢印キー、Enter、Home、Esc などを20回以上試した末に、キットが知らないキー名「DOWN」を送り、Unknown key: "DOWN" のエラーで停止しました。この1回で約44秒、約0.11ドルかかりました。

    画像

    図18:Mac での探索の失敗(3倍速)。プルダウンの表示がずっと「選んでください」のまま

    原因を調べるため、AI を使わずに Playwright だけでプルダウンを操作して比べました。「クリック → ↓ → Enter」「ラベルを押して ↓」など8通りの操作を試した結果は次のとおりです。

    環境値が変わった操作Mac(Playwright のChromium、画面なし)0 / 8Mac(同、画面あり)0 / 8Linux(Playwright 公式のDocker イメージ)6 / 8(日本語を打つ2通りだけ選べない)\begin{array}{l|l}\hline \begin{array}{l}\textbf{環境}\end{array} & \begin{array}{l}\textbf{値が変わった操作}\end{array}\\ \hline \begin{array}{l}\text{Mac(Playwright の}\\\text{Chromium、画面なし)}\end{array} & \begin{array}{l}\text{0 / 8}\end{array}\\ \hline \begin{array}{l}\text{Mac(同、画面あり)}\end{array} & \begin{array}{l}\text{0 / 8}\end{array}\\ \hline \begin{array}{l}\text{Linux(Playwright 公式の}\\\text{Docker イメージ)}\end{array} & \begin{array}{l}\text{6 / 8(日本語を打つ2通}\\\text{りだけ選べない)}\end{array}\\ \hline\end{array}

    Mac の Chromium では、プルダウンの選択肢の一覧は OS の部品として別に開くので、AI が受け取るページの画面写真に写りません。さらにキーボード操作でも値が変わらないため、AI には「何をしても変わらない」状態に見えていたわけです。

    画像

    図19:Mac と Linux でのプルダウンの違い

    解決策は、探索だけを Linux のコンテナで動かすことです。キットにはもともと Dockerfile が同梱されていて、本番では Linux で動かす想定になっています。手元で確かめた手順は次のとおりです。

    # キット同梱の Dockerfile からイメージを作る(Apple シリコンでは amd64 のエミュレーションになる)
    docker build --platform linux/amd64 -t cua-agent-kit .
    
    # 対象アプリはコンテナから届くように 0.0.0.0 で待ち受けておく(例:ポート 8085)
    # OPENAI_API_KEY はシェルで export しておく(-e 名前だけで値が引き継がれる)
    # 探索をコンテナの中で実行し、記録は手元の artifacts/ に書き出す
    docker run --rm --platform linux/amd64 \
      -e OPENAI_API_KEY \
      -e PLAYWRIGHT_HEADLESS=1 \
      -e START_URL=http://host.docker.internal:8085 \
      -e WORKFLOW_ACCOUNT_JSON='{"username":"<USER>","password":"<PASSWORD>"}' \
      -v "$PWD/artifacts:/app/artifacts" \
      -v "$PWD/src/cua_agent_kit/discovery/prompt.py:/app/src/cua_agent_kit/discovery/prompt.py:ro" \
      cua-agent-kit cua-agent-discover
    

    イメージの作成は約95秒、大きさは 1.76GB でした。同梱の Dockerfile は Flyway(データベースの移行ツール)のイメージに arm64 版がないため、--platform linux/arm64 では作れません。amd64 のエミュレーションでも探索は問題なく動き、1回約19.5秒で成功しました。

    注意点が1つあります。README の例どおりに WORKFLOW_ACCOUNT_JSON='{...}' と引用符で囲んだ .env を docker run --env-file で渡すと、Docker は引用符を外さないので WORKFLOW_ACCOUNT_JSON must be JSON with username and password fields. で止まります。上の例のように -e で直接渡すか、Docker 用の env ファイルでは引用符を付けずに書いてください。

    Linux での探索は、gpt-6-sol で5回中5回、gpt-6-luna で5回中4回成功しました(失敗の1回は API 側のエラー)。図11の録画はこのときのものです。なお、プルダウンに困るのは AI が画面を見て操作する探索のときだけです。コード化した後は Playwright の select_option で値を直接選ぶので、Mac でもそのまま動きます。

    ステップ5:成功した探索を自分の目で確かめる

    Codex に渡す前に、探索が本当に成功したかを確かめます。各実行の screenshots/ の最後の画像に「更新しました」の画面と正しい内容が写っているかを見てください。付属スキルも、AI の完了報告だけを信じず、最後の画面写真や URL などの証拠で成功を判断するよう求めています。手元では、成功した探索記録が Linux で9回分たまった状態でコード化に進みました。

    ステップ6:Codex にコード化を頼む

    リポジトリ直下で Codex を起動し、README にある一文で依頼します。今回は手元のアプリの情報を一文足しました。

    # リポジトリ直下で実行する。Codex はリポジトリ内の .codex/skills を読み込む
    codex exec "Use \$codify-playwright-workflow to codify the successful discovery runs. The target app is already running at http://127.0.0.1:8082 and credentials are in .env."
    

    Codex は約6分で作業を終えました。探索の記録(画面写真、events.jsonl、trace.zip)を読み、同梱サンプル用だったログインと手順のコードを、サポート受付用に書き換えています。成功した探索のうち3回分を根拠として選び、テストを11件(うち実際のブラウザを使うもの9件)追加し、失敗したときに画面写真とエラーを記録する処理も足していました。変更は9ファイル・478行の追加と120行の削除です。

    画像

    図20:Codex の完了報告(途中のログは省略)

    報告の最後にあるとおり、Codex のサンドボックス(安全のために操作を制限した実行環境)の中では Chromium を起動できず、Codex 自身は実際のブラウザでの確認ができませんでした。そのため、確認は自分のターミナルで行います。

    Codex が書いたコードの一部を紹介します。担当チームを選ぶ部分です。

    # src/cua_agent_kit/workflows/inquiry.py(Codex が生成。抜粋)
    async def select_team(page: Page) -> None:
        team = page.get_by_role("combobox", name="担当チーム", exact=True)
        await team.select_option(label="請求")
        await expect(team).to_have_value("請求")
    
    
    async def save_update(page: Page) -> None:
        # 保存の直前に、対象の問い合わせと全項目の値をもう一度確かめる
        await expect(page.get_by_role("heading", name=TITLE, exact=True)).to_be_visible()
        await expect(
            page.get_by_role("combobox", name="担当チーム", exact=True)
        ).to_have_value("請求")
        # (優先度・メモ・チェックの確認は省略)
        await page.get_by_role("button", name="更新を保存", exact=True).click()
        await expect(
            page.get_by_role("heading", name="更新しました", exact=True)
        ).to_be_visible()
    

    座標は1つも出てきません。部品はすべて役割と名前で指していて、操作のたびに値を確かめています。探索中の AI はプルダウンをいったん後回しにし、最後にやり直して選んでいましたが、コードではそのやり直しは消え、select_option の1回だけになっていました。保存という取り消しにくい操作の直前に全項目をもう一度確かめているのも、人が書くなら入れたい安全策です。

    ステップ7:コードで実行して確かめる

    最後に、自分のターミナルで実行します。API キーは不要です。

    # 環境変数 OPENAI_API_KEY がなくても動く
    uv run cua-agent-run
    

    手元では10回続けて実行し、10回とも成功しました(中央値0.78秒)。Codex が追加したブラウザのテスト9件も、RUN_BROWSER_TESTS=1 uv run pytest -q で既存の40件と合わせて51件すべて成功しました。Codex のコードは、修正なしで1回目から動いたことになります。

    画面が変わったらどうなるか:壊れ方と直し方

    コードで自動化する方法の弱点は、画面が変わると動かなくなることです。そこで、サポート受付アプリを2通りに変えて試しました。

    画像

    図21:試した3つの画面。v2 は見た目と配置、v3 は文言を変えた

    v2 では2列のレイアウトにして項目の順番を入れ替え、色や要素の id も変えました。ラベルの文言はそのままです。v3 では文言だけを変え、「担当チーム」を「担当部署」に、「更新を保存」ボタンを「登録する」にしました。結果は次のとおりです。

    画像

    図22:画面の変更への強さと、修正後の結果

    配置を変えた v2 では、コードは5回とも成功しました。部品を座標ではなく役割と名前で指しているので、見た目や順番が変わっても影響を受けません。

    一方、文言を変えた v3 では3回とも失敗しました。失敗の仕方は分かりやすく、「担当チームという名前のプルダウンを30秒待ったが見つからない」というエラーで止まります。

    画像

    図23:文言が変わった画面での失敗。何を探して見つからなかったかがエラーに出る

    画像

    図24:v3 での失敗の録画(6倍速)

    AI に毎回操作させる方式なら、v2 も v3 も問題なく成功しました(どちらも1回ずつ試して成功、約18秒)。文言が変わっても、AI は画面を読んで自分で読み替えるからです。ここが、AI 操作とコードの一番大きな違いです。

    Codex に失敗の記録を渡して直す

    キットの README は、壊れたときは記録をもとに Codex がコードを直す、という保守の流れを示しています。そこで、v3 の画面で探索を1回だけやり直し(成功、約0.047ドル)、失敗したコード実行の記録と一緒に Codex に渡しました。

    codex exec "The deterministic workflow started failing after the support desk UI was updated (the app now runs at http://127.0.0.1:8084, START_URL in .env). The failed deterministic run is artifacts/deterministic/<失敗した実行ID> and a new successful discovery run against the updated UI is artifacts/discovery/<新しい探索の実行ID>. Use \$codify-playwright-workflow to diagnose the failure from this evidence and update the deterministic workflow. Keep the change minimal."
    
    画像

    図25:Codex の修正報告(約1分20秒)

    Codex は約1分20秒で、5行だけの修正を加えました。注目したいのは、失敗した実行がまだたどり着いていなかった「登録する」ボタンの変更まで、新しい探索の記録から見つけて直していたことです。失敗の記録だけを見て直していたら、もう一度実行して保存ボタンで止まっていたはずです。修正後のコードは、v3 の画面で10回とも成功しました(中央値0.79秒)。

    このように、見た目の変更には強く、文言の変更で止まります。止まったときは「新しい画面で探索を1回 → Codex で修正 → 人が差分を確認して実行」で戻せる、というのが手元で確かめた保守の流れです。

    5. 使う前に知っておきたい注意

    探索ではパスワードと画面写真がモデルに送られる

    README の「Security and sensitive data」の節に、はっきり書かれています。探索では、手順の文章(WORKFLOW_ACCOUNT_JSON から差し込んだユーザー名とパスワードを含む)、ブラウザの画面写真、操作の履歴が、設定した API の接続先に送られます。本物の顧客データが映る画面や本物のパスワードで探索する前に、その接続先がデータの扱いとして承認されているか、保存期間の方針はどうなっているかを確認してください。

    パスワードをモデルに渡したくない場合は、探索の前にローカルのコードでログインを済ませる、またはローカルで認証情報を読むログイン用のツールを用意する、という方法が README で提案されています。

    記録の伏せ字は「できる範囲」まで

    キットは、記録やログに出るユーザー名とパスワードを [REDACTED] に置き換えます。ただ README 自身が、これはできる範囲の保護であり、JSON の全項目・画面写真・trace・ログを完全に伏せるものではないと書いています。

    手元でも、その限界が見えました。図16のログでは、パスワード demo-password が [REDACTED]-password と表示されています。キットはユーザー名(demo)を先に置き換えるので、ユーザー名を含むパスワードは残りの部分が見えてしまいます。また、AI の最終報告の英文中の「demo」という単語まで [REDACTED] に置き換わっていました。実際の運用では、ユーザー名を含まないパスワードを使い、ログの扱いにも注意してください。

    trace.zip には、操作の引数、認証情報、Cookie やセッションのトークン、通信の中身、画面の構造が入ることがあります。探索の記録を公開の issue に貼ったり、そのまま他人に渡したりしないでください。Codex にコード化を頼むことも、記録を AI に渡すことにあたります。README は、Codex を含む AI に渡す前にも記録を確認して不要な情報を取り除くよう求めています。今回の検証では、すべて架空のデータを使いました。

    「AI が終わったと言った」は成功の証明ではない

    公式文書は何度も、エージェントが作業を終えたことは成功の証明にならないと念を押しています。実際、最初に設定を間違えて別のアプリにつながったとき、AI は「指定の問い合わせを開けませんでした」と正直に報告して終了しましたが、キットの記録上の状態は completed でした。探索の成否は、最後の画面写真で判断してください。コードによる実行は、最後に画面の内容を確かめてから succeeded を記録します。

    6. こんな場面で使えます

    ここまでの結果を踏まえて、向く業務と向かない業務を整理します。

    画像

    図26:向く業務・向かない業務

    向いているのは、次のような作業です。

    • 毎日・大量に同じ手順を繰り返す作業:受付票の転記、ステータスの更新、予約の登録など。回数が多いほど、AI 操作との費用と時間の差が開きます

    • API が途中までしかない作業:OpenAI の記事で紹介された Assort(医療系スタートアップ)の例のように、API で紹介状を登録した後の「予約済みにする」操作だけが画面でしかできない、といった場面

    • ラベルがきちんと付いた業務画面:見た目の変更には強いので、デザインの刷新程度なら止まりません

    • 操作の記録を残したい作業:実行のたびに画面写真と操作の記録が残り、PostgreSQL や Azure Blob Storage に送る設定もあります

    逆に、書類を読んで毎回判断が変わる作業はそのままではコード化できません。決まった部分だけをコードにし、判断の部分だけ AI を呼ぶ「ハイブリッド」を自分で組む必要があります。文言がよく変わる画面では、そのたびに再探索と修正が必要になるので、AI 操作のままにする方が手間が少ないかもしれません。

    試す順番としては、同梱サンプル(API キーなしで実行まで体験できる)、架空データで作った自分の画面、本番に近い検証環境、の順がおすすめです。

    7. トラブルシューティング

    手元で実際に出た問題と対処を、確かめる順番にまとめます。

    画像

    図27:トラブルの確認順

    症状原因対処Docker でWORKFLOW_ACCOUNT_JSON mustbe JSON withusername andpasswordfields.--env-file は値を囲む引用符を外さない-e で直接渡すか、引用符なしで書くプルダウンで AIが何度もやり直すMac のChromium では選択肢の一覧が画面写真に写らず、キー操作でも変わらないLinux(Docker)で探索する探索が Unknownkey: "DOWN" で止まるキットのキー名の対応表にない名前を AI が送った上のプルダウンの問題を先に解消するCodex が「Chromium を起動できない」と報告するCodex のサンドボックスの制限コードとテストはできているので、uv runcua-agent-runを自分のターミナルで実行するコードの実行が約30秒でTimeoutError画面の文言が変わったエラーのwaiting for に探していた名前が出る。新しい画面で探索を1回してCodex で修正--platformlinux/arm64 でイメージが作れない同梱 Dockerfileの Flyway にarm64 版がない--platformlinux/amd64 で作る(Apple シリコンではエミュレーション)探索が OpenAIの APIError で止まるAPI 側の一時的なエラー(gpt-6-luna で5回中1回)キットに自動の再試行はないので、もう一度実行する\begin{array}{l|l|l}\hline \begin{array}{l}\textbf{症状}\end{array} & \begin{array}{l}\textbf{原因}\end{array} & \begin{array}{l}\textbf{対処}\end{array}\\ \hline \begin{array}{l}\text{Docker で}\\\text{WORKFLOW\_ACCOU}\\\text{NT\_JSON must}\\\text{be JSON with}\\\text{username and}\\\text{password}\\\text{fields.}\end{array} & \begin{array}{l}\text{-{}-env-file は値}\\\text{を囲む引用符を外}\\\text{さない}\end{array} & \begin{array}{l}\text{-e で直接渡すか、}\\\text{引用符なしで書く}\end{array}\\ \hline \begin{array}{l}\text{プルダウンで AI}\\\text{が何度もやり直す}\end{array} & \begin{array}{l}\text{Mac の}\\\text{Chromium では選}\\\text{択肢の一覧が画面}\\\text{写真に写らず、キー}\\\text{操作でも変わらな}\\\text{い}\end{array} & \begin{array}{l}\text{Linux(Docker)}\\\text{で探索する}\end{array}\\ \hline \begin{array}{l}\text{探索が Unknown}\\\text{key: "DOWN" で}\\\text{止まる}\end{array} & \begin{array}{l}\text{キットのキー名の}\\\text{対応表にない名前}\\\text{を AI が送った}\end{array} & \begin{array}{l}\text{上のプルダウンの}\\\text{問題を先に解消す}\\\text{る}\end{array}\\ \hline \begin{array}{l}\text{Codex が「}\\\text{Chromium を起動}\\\text{できない」と報告}\\\text{する}\end{array} & \begin{array}{l}\text{Codex のサンド}\\\text{ボックスの制限}\end{array} & \begin{array}{l}\text{コードとテストは}\\\text{できているので、}\\\text{uv run}\\\text{cua-agent-run}\\\text{を自分のターミナ}\\\text{ルで実行する}\end{array}\\ \hline \begin{array}{l}\text{コードの実行が約}\\\text{30秒で}\\\text{TimeoutError}\end{array} & \begin{array}{l}\text{画面の文言が変わっ}\\\text{た}\end{array} & \begin{array}{l}\text{エラーの}\\\text{waiting for に}\\\text{探していた名前が}\\\text{出る。新しい画面}\\\text{で探索を1回して}\\\text{Codex で修正}\end{array}\\ \hline \begin{array}{l}\text{-{}-platform}\\\text{linux/arm64 で}\\\text{イメージが作れな}\\\text{い}\end{array} & \begin{array}{l}\text{同梱 Dockerfile}\\\text{の Flyway に}\\\text{arm64 版がない}\end{array} & \begin{array}{l}\text{-{}-platform}\\\text{linux/amd64 で}\\\text{作る(Apple シ}\\\text{リコンではエミュ}\\\text{レーション)}\end{array}\\ \hline \begin{array}{l}\text{探索が OpenAI}\\\text{の APIError で}\\\text{止まる}\end{array} & \begin{array}{l}\text{API 側の一時的}\\\text{なエラー(}\\\text{gpt-6-luna で5}\\\text{回中1回)}\end{array} & \begin{array}{l}\text{キットに自動の再}\\\text{試行はないので、}\\\text{もう一度実行する}\end{array}\\ \hline\end{array}

    まとめ

    CUA Agent Kit は、computer use のエージェントを「毎回働かせる」のではなく、「一度やり方を見つけさせて、その記録からコードを作る」ための道具です。手元の検証で分かったことをまとめます。

    • 何ができるか:文章で書いた手順を AI がブラウザで実行し、その記録から Codex が Playwright のコードを書く。2回目以降は LLM なしで動く

    • 精度:OpenAI の公表値では computer use は医療の事務作業で9割超。手元では AI の探索が gpt-6-sol で5/5、コード化したものは10/10(Codex のコードは1回目から動いた)

    • 速さと費用:AI 操作1回約16.7秒・約0.047ドルに対して、コードは約0.78秒・0ドル。コード化の費用(API 換算約2.4ドル)は gpt-6-sol 約50回分で元が取れる

    • 画面の変更:配置や色の変更には強く、文言の変更で止まる。止まったら再探索1回と Codex の修正(今回は約1分20秒・5行)で戻せた

    • Mac での注意:プルダウンのある画面の探索は Linux(Docker)で行う。コード化した後の実行は Mac で問題ない

    • 安全面:探索ではパスワードと画面写真がモデルに送られ、記録の伏せ字も完全ではない。架空のデータから始める

    API がない社内システムの定型作業に悩んでいる方は、まず同梱サンプルで uv run cua-agent-run を実行してみてください。API キーなしで数分で動きます。そのうえで、架空データの画面を1つ作り、探索からコード化、画面を変えたときの修正までを一周してみると、自分の業務に使えるかどうかの感触がつかめるはずです。ぜひ試してみてください。

    参考リソース