メインコンテンツへスキップ
見出し画像

AIにブラウザを操作させるのを、少しずつやめています。

    〜「人間の操作を真似するAI」から、「仕事を実行するAI」へ〜

    しげちーの実験ノート #01

    はじめに

    画像

    しげちー:「トモヤさん、また画面がフリーズしてますけど」

    画像

    トモヤ:「またChrome落ちた」

    画像

    しげちー:「何をさせてたんです?」

    画像

    トモヤ:「ニュースの投稿。AIにブラウザ操作させて、YouTubeにアップして、noteに下書き作って……」

    画像

    しげちー:「それ、APIありません?」

    画像

    トモヤ:「……ある」

    画像

    しげちー:「あるんですね」

    画像

    トモヤ:「あるな」

    こんにちは。海外AIツール研究所です。

    このチャンネル(と、このnote)では、普段は海外のAIツールやサービスのニュースを紹介しています。

    ただ、ニュースを紹介しているうちに、だんだんこう思うようになりました。

    「紹介するだけじゃなくて、実際に自分の仕事に入れてみたらどうなるんだろう」

    というわけで、新シリーズを始めます。

    「しげちーの実験ノート」

    実際にAIツールを自分の業務へ投入して、うまくいったこと・うまくいかなかったこと・途中でやめたことを、そのまま書いていくシリーズです。

    成功例だけを並べるつもりはありません。むしろ「これ失敗したな」という話のほうが役に立つと思っているので、そっちも書きます。

    第1回のテーマはこれです。

    AIにブラウザを操作させるのを、少しずつやめています。

    1. 最初は、本当に感動した

    まず前提として、僕はAIのブラウザ操作にめちゃくちゃ感動した側の人間です。

    僕は個人でいくつかの作業を自動化しています。

    ・海外のニュースを集めて記事にする
    ・noteに投稿する
    ・YouTubeに動画を上げる
    ・SNSに投稿する
    ・メルカリの出品を値下げする
    ・売れなかった商品を再出品する

    このあたりを、AIエージェント(Cursorや、いまはClaude Code)にやらせています。

    で、最初にやった方法が「人間と同じようにブラウザを操作させる」でした。

    いわゆるComputer Use、あるいはブラウザ自動操作というやつです。

    【Computer Use(コンピュータ操作)とは】
    AIが画面のスクリーンショットを見て、「ここをクリック」「ここに入力」と、人間と同じようにパソコンを操作する仕組みのこと。

    これ、初めて動いたときは本当にすごかったです。

    画面の中でカーソルが勝手に動いて、YouTube Studioを開いて、動画をアップロードして、タイトルを入れて、説明欄を埋めていく。

    自分が普段やっている作業を、AIがそのまま代行している。

    画像

    トモヤ:「え、待って。今、俺の仕事してるじゃん」

    画像

    しげちー:「未来ですね」

    正直、この時点では「これで全部いけるんじゃないか」と思っていました。

    APIとか調べなくても、人間向けの画面さえあれば何でも操作できる。それってつまり、世の中のあらゆるWebサービスが自動化対象になるということです。

    そう思っていました。

    2. デモは成功する。運用は別物だった

    問題は、次の日から出てきました。

    デモは1回動けば成功です。でも運用は違う。毎日、同じ品質で、同じ結果が出ないと意味がない。

    実際に起きたことを、正直に書きます。

    Chromeが不安定になる

    まずこれ。長時間ブラウザを掴んで操作し続けると、そのうち固まります。落ちます。プロファイルが壊れることもありました。

    朝、自動化を仕掛けて別の作業をして、戻ってきたら止まってる。原因を調べるところから始まる。

    UIが変わると死ぬ

    YouTube Studioの投稿画面は、たまにレイアウトが変わります。ボタンの位置が変わる、項目が増える、モーダルの出方が変わる。

    人間なら「あ、変わったのね」で済みます。でもAIに手順を覚えさせている場合、そこで止まるか、もっと悪いことに、違う場所をクリックします。

    さらに厄介だったのが、YouTube Studioの画面構造です。技術的な話は省きますが、外から中身が見えにくい作りになっている部分があって、AIが「どこに何があるか」を正しく読み取れないことがありました。

    同じ指示でも、毎回同じ動きにならない

    これが一番きつかったです。

    昨日うまくいった手順が、今日は違う道を通る。同じプロンプトなのに、AIが「今日はこっちのボタンのほうが良さそう」と判断してしまう。

    人間としては優秀な判断なんですが、運用の自動化としては最悪です。

    失敗したあと、勝手にリカバリーしようとする

    僕が一番ヒヤッとしたのはこれです。

    AIは、途中で失敗すると諦めません。別の方法を探して、なんとかゴールしようとします。

    これ、性能としては素晴らしいんですよ。人間だってそうします。

    でも、対象がメルカリだったらどうでしょう。

    3. 実アカウント・実商品でそれをやられると困る

    画像

    トモヤ:「メルカリの値下げを自動化してたんだけど」

    画像

    しげちー:「はい」

    画像

    トモヤ:「値下げボタンが見つからなかったらしくて、AIが自分で別のルート探し始めた」

    画像

    しげちー:「本番環境でですか?」

    画像

    トモヤ:「本番環境で」

    画像

    しげちー:「それは、心臓に悪いですね……」

    メルカリの自動化は、ニュース投稿とは緊張感が違います。

    実際のアカウントで、実際に売っている商品を触るからです。

    値下げを間違えれば、そのまま売れます。再出品の操作をミスれば、出品が消えるかもしれない。取り消しがきかない操作が普通に並んでいます。

    そういう場所で、「たぶんこれでいけると思います」で操作されるのは、正直きつい。

    AIが悪いわけではありません。AIに、判断が必要な場所を任せた僕の設計が悪い。

    このあたりで、ようやく考え方が変わってきました。

    画像
    デモは1回動けば成功。運用は毎日同じ結果が要る。

    4. とりあえずAPIに置き換えてみた

    まず手をつけたのは、ニュース便(毎日出しているニュース記事+動画)の投稿まわりです。

    ここは失敗しても実害が比較的小さいし、毎日必ず走る処理なので、改善の効果がすぐ数字で分かります。

    やったことはシンプルです。

    YouTube投稿 → YouTube Data APIに変更

    ブラウザでStudioを開いて、アップロードボタンを押して、フォームを埋めて……という一連の操作を全部やめました。

    代わりに、動画ファイルとタイトルと説明文をAPIに渡すだけ。再生リストへの追加も、公開設定も、同じ仕組みの中で終わります。

    note投稿 → APIラッパーを自作

    noteには公開された投稿APIがないので、ここは少し工夫が必要でした。詳細は省きますが、ブラウザを人間っぽく操作するのではなく、決まった形でデータを渡す方式に寄せました。

    結果どうなったか。

    画像

    トモヤ:「速い。あと、失敗しない」

    画像

    しげちー:「そうでしょうね」

    画像

    トモヤ:「なんでそんな『知ってました』みたいな顔してんの」

    画像

    しげちー:「最初に言いましたよ。『APIありません?』って」

    体感で言うと、投稿工程にかかっていた時間が数分の一になりました。

    でも、本当に効いたのは速度じゃありません。

    毎回同じ結果になる、これです。

    APIには「今日はこっちのボタンのほうが良さそう」がありません。渡したデータがそのまま反映されるか、エラーが返るか、そのどちらかです。

    エラーが返るなら、原因が特定できる。特定できるなら、直せる。

    ブラウザ操作でつらかったのは、「なんとなく失敗して、なんとなく成功する」ことでした。それが消えました。

    5. で、ここが今回の本題です

    APIに置き換えてしばらく運用してから、ふと思ったことがあります。

    そもそもAIに、人間の操作を真似させる必要ってあった?

    考えてみると、僕は最初にこう考えていました。

    AIが賢くなった → 人間と同じように操作できる → じゃあ人間と同じやり方をさせよう

    でも、これって順番がおかしいんですよね。

    人間が画面をポチポチ操作しているのは、人間には画面しか用意されていないからです。ボタンやフォームは、人間の目と手に合わせて作られた入口です。

    AIはボタンを押す必要がありません。データを渡せる入口があるなら、そっちを使ったほうが速いに決まっている。

    画像

    しげちー:「つまり、人間用の入口をAIに使わせていたわけですね」

    画像

    トモヤ:「そう。裏口があるのに、わざわざ正面玄関から入って、受付で名前書いて、エレベーター待ってた」

    画像

    しげちー:「それは自動化というより、遠隔操作ですね」

    画像

    トモヤ:「うるさいな。……いや、合ってる」

    「AIにブラウザを操作させる」は、実はけっこう重い選択です。

    ・画面を読む必要がある
    ・状況を判断する必要がある
    ・判断するということは、判断を間違える余地がある

    一方、APIやスクリプトなら、判断の余地がありません。

    判断の余地がない=毎回同じ結果になる。

    自動化でほしいのは、賢さじゃなくて、この「毎回同じ」のほうでした。

    6. いまの優先順位

    そんなわけで、今は仕事を自動化するときに、この順番で考えるようにしています。

    1. APIがあるか? → あればAPI
    2. スクリプトで書けるか? → 書けるならスクリプト
    3. どっちも無理か? → ブラウザ操作 / Computer Use

    画像
    ブラウザ操作を土台にする構成から、確実な順に選ぶ構成へ。

    それぞれ、得意なことが違います。

    API:一番速くて、一番確実

    サービス側が「こう渡してくれれば処理します」と決めてくれている入口です。

    速い。壊れにくい。エラーが明確。使えるなら、迷わずこれ。

    弱点は、そもそも用意されていないことがあることです。あと、できることがAPIの範囲に限られます。

    スクリプト:手順が決まっている作業向け

    ファイルを整理する、画像をリサイズする、テキストを決まった形式に変換する。

    「毎回まったく同じ手順でいい作業」は、AIに考えさせずにスクリプトに書いたほうがいい。

    ここで大事なのは、AIにスクリプトを「書かせる」のはめちゃくちゃ有効ということです。書かせるのはAI、実行するのはスクリプト。この分担がいい。

    一度書いてしまえば、あとは何回動かしても同じ結果になります。

    ブラウザ操作 / Computer Use:他に手段がないとき

    ここが大事なんですが、僕はブラウザ操作を否定していません。

    必要な場面は確実にあります。

    ・APIが存在しないサービス
    ・人間向けのUIしか用意されていない処理
    ・「毎回ちょっとずつ状況が違う」タイプの調べもの
    ・1回きりの作業(自動化する価値がない)

    こういうところでは、今もComputer Useを使っています。

    というか、APIが無い世界でこれが動くのは本当にすごいんですよ。だからこそ、「使うべきところで使う」ようにしたい。

    否定したいのは技術じゃなくて、「全部これでいけるはず」と思い込んでいた自分の設計のほうです。

    画像

    しげちー:「道具が悪いんじゃなくて、使いどころだったと」

    画像

    トモヤ:「そういうこと。ハンマーは悪くない。全部を釘だと思ってた俺が悪い」

    7. いま進めているのは、「仕事そのものをAIに渡す」

    で、ここからが最近の話です。

    ブラウザ操作を減らしていくうちに、もうひとつ気づいたことがありました。

    毎朝、AIに仕事のやり方を説明している。

    「ニュース便はこういう手順で作って」
    「タイトルはこの形式で」
    「サムネはこのルールで」
    「この工程は必ず下書きで止めて」

    毎回です。毎回、同じことを説明している。

    これ、自動化以前の問題ですよね。手順を人間の頭の中に置いている限り、AIは毎回ゼロから聞かされる新人です。

    なので今は、業務知識そのものを、AIが読める形に移しています。

    ・Skills … 作業手順そのもの
    ・Rules … 絶対に守らせたい制約
    ・API / scripts … 実際に動く部分
    ・Git … それらを履歴つきで管理する

    ニュース便まわりは、すでにこの形に整理しました。

    最近はメルカリの自動化についても、Skillsとしてパッケージ化してGit管理を始めたところです。

    こうすると何が変わるか。

    「今日の仕事のやり方を説明する」から、「このSkillを実行して」へ変わります。

    画像

    しげちー:「毎朝説明していたことを、ファイルに書いたわけですね」

    画像

    トモヤ:「そう。しかもGitに入れてるから、変えた履歴も残る」

    画像

    しげちー:「壊れたら戻せると」

    画像

    トモヤ:「そこが一番デカい」

    ただ、この話をちゃんと書くと長くなるので、今回はここまでにします。

    次回で詳しくやります。

    おわりに

    画像

    しげちー:「つまり、ブラウザ操作をやめたんですね」

    画像

    トモヤ:「いや、必要なところでは使う」

    画像

    しげちー:「やめてないじゃないですか」

    画像

    トモヤ:「『少しずつやめてる』って書いたやろ」

    画像

    しげちー:「適材適所ですね」

    画像

    トモヤ:「最初からそう言ってる」

    画像

    しげちー:「さっき気づいたんですよね?」

    画像

    トモヤ:「……次の記事、お前出さんぞ」

    画像

    しげちー:「そんな」

    というわけで、「しげちーの実験ノート」第1回でした。

    まとめると、今回の話はこういうことです。

    AIが人間の操作を真似できるようになったのはすごい。でも、真似させる必要があるかは別の話だった。

    自動化でほしかったのは賢さではなく、「毎回同じ結果になること」でした。

    そこに気づいてから、API → スクリプト → ブラウザ操作、という優先順位に落ち着いています。

    このシリーズでは、こういう「やってみて分かったこと」をそのまま書いていきます。

    うまくいかなかった話も、途中でやめた話も書きます。そっちのほうが再現性があると思うので。

    次回予告

    「毎朝AIに同じ指示をするのをやめた。」

    Skills / Rules / API / Git を使って、仕事のやり方そのものをAIに渡している現在の仕組みを紹介します。

    「AIに毎回説明する」のをやめると、何が変わるのか。

    海外AIツール研究所では、海外の最新AIツールのニュースも毎日お届けしています。
    「しげちーの実験ノート」は、そこで紹介したツールを実際に業務へ投入した記録シリーズです。

     
     
    海外AIツールを毎朝、短く出典つきで。Codex/Claude Code/Cursor拡張が中心。X @ai_tool_daily/YouTube AIツール研究所

    あなたへのおすすめ