
AIにブラウザを操作させるのを、少しずつやめています。
〜「人間の操作を真似するAI」から、「仕事を実行するAI」へ〜
しげちーの実験ノート #01
はじめに

しげちー:「トモヤさん、また画面がフリーズしてますけど」

トモヤ:「またChrome落ちた」

しげちー:「何をさせてたんです?」

トモヤ:「ニュースの投稿。AIにブラウザ操作させて、YouTubeにアップして、noteに下書き作って……」

しげちー:「それ、APIありません?」

トモヤ:「……ある」

しげちー:「あるんですね」

トモヤ:「あるな」
こんにちは。海外AIツール研究所です。
このチャンネル(と、このnote)では、普段は海外のAIツールやサービスのニュースを紹介しています。
ただ、ニュースを紹介しているうちに、だんだんこう思うようになりました。
「紹介するだけじゃなくて、実際に自分の仕事に入れてみたらどうなるんだろう」
というわけで、新シリーズを始めます。
「しげちーの実験ノート」
実際にAIツールを自分の業務へ投入して、うまくいったこと・うまくいかなかったこと・途中でやめたことを、そのまま書いていくシリーズです。
成功例だけを並べるつもりはありません。むしろ「これ失敗したな」という話のほうが役に立つと思っているので、そっちも書きます。
第1回のテーマはこれです。
AIにブラウザを操作させるのを、少しずつやめています。
1. 最初は、本当に感動した
まず前提として、僕はAIのブラウザ操作にめちゃくちゃ感動した側の人間です。
僕は個人でいくつかの作業を自動化しています。
・海外のニュースを集めて記事にする
・noteに投稿する
・YouTubeに動画を上げる
・SNSに投稿する
・メルカリの出品を値下げする
・売れなかった商品を再出品する
このあたりを、AIエージェント(Cursorや、いまはClaude Code)にやらせています。
で、最初にやった方法が「人間と同じようにブラウザを操作させる」でした。
いわゆるComputer Use、あるいはブラウザ自動操作というやつです。
【Computer Use(コンピュータ操作)とは】
AIが画面のスクリーンショットを見て、「ここをクリック」「ここに入力」と、人間と同じようにパソコンを操作する仕組みのこと。
これ、初めて動いたときは本当にすごかったです。
画面の中でカーソルが勝手に動いて、YouTube Studioを開いて、動画をアップロードして、タイトルを入れて、説明欄を埋めていく。
自分が普段やっている作業を、AIがそのまま代行している。

トモヤ:「え、待って。今、俺の仕事してるじゃん」

しげちー:「未来ですね」
正直、この時点では「これで全部いけるんじゃないか」と思っていました。
APIとか調べなくても、人間向けの画面さえあれば何でも操作できる。それってつまり、世の中のあらゆるWebサービスが自動化対象になるということです。
そう思っていました。
2. デモは成功する。運用は別物だった
問題は、次の日から出てきました。
デモは1回動けば成功です。でも運用は違う。毎日、同じ品質で、同じ結果が出ないと意味がない。
実際に起きたことを、正直に書きます。
Chromeが不安定になる
まずこれ。長時間ブラウザを掴んで操作し続けると、そのうち固まります。落ちます。プロファイルが壊れることもありました。
朝、自動化を仕掛けて別の作業をして、戻ってきたら止まってる。原因を調べるところから始まる。
UIが変わると死ぬ
YouTube Studioの投稿画面は、たまにレイアウトが変わります。ボタンの位置が変わる、項目が増える、モーダルの出方が変わる。
人間なら「あ、変わったのね」で済みます。でもAIに手順を覚えさせている場合、そこで止まるか、もっと悪いことに、違う場所をクリックします。
さらに厄介だったのが、YouTube Studioの画面構造です。技術的な話は省きますが、外から中身が見えにくい作りになっている部分があって、AIが「どこに何があるか」を正しく読み取れないことがありました。
同じ指示でも、毎回同じ動きにならない
これが一番きつかったです。
昨日うまくいった手順が、今日は違う道を通る。同じプロンプトなのに、AIが「今日はこっちのボタンのほうが良さそう」と判断してしまう。
人間としては優秀な判断なんですが、運用の自動化としては最悪です。
失敗したあと、勝手にリカバリーしようとする
僕が一番ヒヤッとしたのはこれです。
AIは、途中で失敗すると諦めません。別の方法を探して、なんとかゴールしようとします。
これ、性能としては素晴らしいんですよ。人間だってそうします。
でも、対象がメルカリだったらどうでしょう。
3. 実アカウント・実商品でそれをやられると困る

トモヤ:「メルカリの値下げを自動化してたんだけど」

しげちー:「はい」

トモヤ:「値下げボタンが見つからなかったらしくて、AIが自分で別のルート探し始めた」

しげちー:「本番環境でですか?」

トモヤ:「本番環境で」

しげちー:「それは、心臓に悪いですね……」
メルカリの自動化は、ニュース投稿とは緊張感が違います。
実際のアカウントで、実際に売っている商品を触るからです。
値下げを間違えれば、そのまま売れます。再出品の操作をミスれば、出品が消えるかもしれない。取り消しがきかない操作が普通に並んでいます。
そういう場所で、「たぶんこれでいけると思います」で操作されるのは、正直きつい。
AIが悪いわけではありません。AIに、判断が必要な場所を任せた僕の設計が悪い。
このあたりで、ようやく考え方が変わってきました。

4. とりあえずAPIに置き換えてみた
まず手をつけたのは、ニュース便(毎日出しているニュース記事+動画)の投稿まわりです。
ここは失敗しても実害が比較的小さいし、毎日必ず走る処理なので、改善の効果がすぐ数字で分かります。
やったことはシンプルです。
YouTube投稿 → YouTube Data APIに変更
ブラウザでStudioを開いて、アップロードボタンを押して、フォームを埋めて……という一連の操作を全部やめました。
代わりに、動画ファイルとタイトルと説明文をAPIに渡すだけ。再生リストへの追加も、公開設定も、同じ仕組みの中で終わります。
note投稿 → APIラッパーを自作
noteには公開された投稿APIがないので、ここは少し工夫が必要でした。詳細は省きますが、ブラウザを人間っぽく操作するのではなく、決まった形でデータを渡す方式に寄せました。
結果どうなったか。

トモヤ:「速い。あと、失敗しない」

しげちー:「そうでしょうね」

トモヤ:「なんでそんな『知ってました』みたいな顔してんの」

しげちー:「最初に言いましたよ。『APIありません?』って」
体感で言うと、投稿工程にかかっていた時間が数分の一になりました。
でも、本当に効いたのは速度じゃありません。
毎回同じ結果になる、これです。
APIには「今日はこっちのボタンのほうが良さそう」がありません。渡したデータがそのまま反映されるか、エラーが返るか、そのどちらかです。
エラーが返るなら、原因が特定できる。特定できるなら、直せる。
ブラウザ操作でつらかったのは、「なんとなく失敗して、なんとなく成功する」ことでした。それが消えました。
5. で、ここが今回の本題です
APIに置き換えてしばらく運用してから、ふと思ったことがあります。
そもそもAIに、人間の操作を真似させる必要ってあった?
考えてみると、僕は最初にこう考えていました。
AIが賢くなった → 人間と同じように操作できる → じゃあ人間と同じやり方をさせよう
でも、これって順番がおかしいんですよね。
人間が画面をポチポチ操作しているのは、人間には画面しか用意されていないからです。ボタンやフォームは、人間の目と手に合わせて作られた入口です。
AIはボタンを押す必要がありません。データを渡せる入口があるなら、そっちを使ったほうが速いに決まっている。

しげちー:「つまり、人間用の入口をAIに使わせていたわけですね」

トモヤ:「そう。裏口があるのに、わざわざ正面玄関から入って、受付で名前書いて、エレベーター待ってた」

しげちー:「それは自動化というより、遠隔操作ですね」

トモヤ:「うるさいな。……いや、合ってる」
「AIにブラウザを操作させる」は、実はけっこう重い選択です。
・画面を読む必要がある
・状況を判断する必要がある
・判断するということは、判断を間違える余地がある
一方、APIやスクリプトなら、判断の余地がありません。
判断の余地がない=毎回同じ結果になる。
自動化でほしいのは、賢さじゃなくて、この「毎回同じ」のほうでした。
6. いまの優先順位
そんなわけで、今は仕事を自動化するときに、この順番で考えるようにしています。
1. APIがあるか? → あればAPI
2. スクリプトで書けるか? → 書けるならスクリプト
3. どっちも無理か? → ブラウザ操作 / Computer Use

それぞれ、得意なことが違います。
API:一番速くて、一番確実
サービス側が「こう渡してくれれば処理します」と決めてくれている入口です。
速い。壊れにくい。エラーが明確。使えるなら、迷わずこれ。
弱点は、そもそも用意されていないことがあることです。あと、できることがAPIの範囲に限られます。
スクリプト:手順が決まっている作業向け
ファイルを整理する、画像をリサイズする、テキストを決まった形式に変換する。
「毎回まったく同じ手順でいい作業」は、AIに考えさせずにスクリプトに書いたほうがいい。
ここで大事なのは、AIにスクリプトを「書かせる」のはめちゃくちゃ有効ということです。書かせるのはAI、実行するのはスクリプト。この分担がいい。
一度書いてしまえば、あとは何回動かしても同じ結果になります。
ブラウザ操作 / Computer Use:他に手段がないとき
ここが大事なんですが、僕はブラウザ操作を否定していません。
必要な場面は確実にあります。
・APIが存在しないサービス
・人間向けのUIしか用意されていない処理
・「毎回ちょっとずつ状況が違う」タイプの調べもの
・1回きりの作業(自動化する価値がない)
こういうところでは、今もComputer Useを使っています。
というか、APIが無い世界でこれが動くのは本当にすごいんですよ。だからこそ、「使うべきところで使う」ようにしたい。
否定したいのは技術じゃなくて、「全部これでいけるはず」と思い込んでいた自分の設計のほうです。

しげちー:「道具が悪いんじゃなくて、使いどころだったと」

トモヤ:「そういうこと。ハンマーは悪くない。全部を釘だと思ってた俺が悪い」
7. いま進めているのは、「仕事そのものをAIに渡す」
で、ここからが最近の話です。
ブラウザ操作を減らしていくうちに、もうひとつ気づいたことがありました。
毎朝、AIに仕事のやり方を説明している。
「ニュース便はこういう手順で作って」
「タイトルはこの形式で」
「サムネはこのルールで」
「この工程は必ず下書きで止めて」
毎回です。毎回、同じことを説明している。
これ、自動化以前の問題ですよね。手順を人間の頭の中に置いている限り、AIは毎回ゼロから聞かされる新人です。
なので今は、業務知識そのものを、AIが読める形に移しています。
・Skills … 作業手順そのもの
・Rules … 絶対に守らせたい制約
・API / scripts … 実際に動く部分
・Git … それらを履歴つきで管理する
ニュース便まわりは、すでにこの形に整理しました。
最近はメルカリの自動化についても、Skillsとしてパッケージ化してGit管理を始めたところです。
こうすると何が変わるか。
「今日の仕事のやり方を説明する」から、「このSkillを実行して」へ変わります。

しげちー:「毎朝説明していたことを、ファイルに書いたわけですね」

トモヤ:「そう。しかもGitに入れてるから、変えた履歴も残る」

しげちー:「壊れたら戻せると」

トモヤ:「そこが一番デカい」
ただ、この話をちゃんと書くと長くなるので、今回はここまでにします。
次回で詳しくやります。
おわりに

しげちー:「つまり、ブラウザ操作をやめたんですね」

トモヤ:「いや、必要なところでは使う」

しげちー:「やめてないじゃないですか」

トモヤ:「『少しずつやめてる』って書いたやろ」

しげちー:「適材適所ですね」

トモヤ:「最初からそう言ってる」

しげちー:「さっき気づいたんですよね?」

トモヤ:「……次の記事、お前出さんぞ」

しげちー:「そんな」
というわけで、「しげちーの実験ノート」第1回でした。
まとめると、今回の話はこういうことです。
AIが人間の操作を真似できるようになったのはすごい。でも、真似させる必要があるかは別の話だった。
自動化でほしかったのは賢さではなく、「毎回同じ結果になること」でした。
そこに気づいてから、API → スクリプト → ブラウザ操作、という優先順位に落ち着いています。
このシリーズでは、こういう「やってみて分かったこと」をそのまま書いていきます。
うまくいかなかった話も、途中でやめた話も書きます。そっちのほうが再現性があると思うので。
次回予告
「毎朝AIに同じ指示をするのをやめた。」
Skills / Rules / API / Git を使って、仕事のやり方そのものをAIに渡している現在の仕組みを紹介します。
「AIに毎回説明する」のをやめると、何が変わるのか。
海外AIツール研究所では、海外の最新AIツールのニュースも毎日お届けしています。
「しげちーの実験ノート」は、そこで紹介したツールを実際に業務へ投入した記録シリーズです。