
撮った写真と本物のページは、大きさが違った|Claudeにブラウザを任せて分かったこと
Claudeにブラウザを操作させたとき、最初に思ったのは、これでした。
こんなことまでできるのか!
Claude(パソコンの中で動くClaude Code)は、ブラウザを、画面を見ながら動かせます。画面を撮って、どこに何があるかを見て、ボタンを押したり、文字を打ったりする。僕は、記事の下書きを入れる作業を、これで任せています。
前に「いつかこのブラウザでの動かし方も記事にしたいな」と書いていました。
今回は、その話です。
画面を撮って、押す場所を決めている
Claudeは、ブラウザの画面を写真に撮って、その写真を見ながら押す場所を決めています。
人が画面を見てボタンを押すのと、やっていることは近いです。違うのは、Claudeが見ているのは画面そのものではなく、撮った写真のほうだということでした。
押した場所が、少し下にずれていた
ところが、押したはずのボタンとは違う場所を押していることがありました。
押す場所は、写真を見て決めることもあれば、ページに「このボタンはどこ?」と聞いて、数字で受け取ることもあります。ずれたのは、ページから受け取った数字を、そのまま写真の上で使ったときでした。
原因は、写真とページの大きさの違いでした。撮った写真は横1,138。本物のページは横1,278。写真のほうが、約0.89倍に縮んでいたんです。
たとえば、ページの上から500のところにあるボタンは、写真の上では445のところに写っています。ページの数字のまま500のところを押すと、55だけ下を押してしまう。だから、狙ったボタンの少し下を押していました。

毎回、測ってから押す
直し方は、押す前に、写真の大きさとページの大きさを測って、位置を縮めてから押すことです。
しかも、この大きさは毎回同じではありませんでした。1,138の日もあれば、1,120の日も、1,099の日もある。同じ日でも、開いている画面で違いました。
だから今は、決まった数字を使わずに、その日、その画面で測ってから押します。測ってから押すまでのあいだに、画面を動かさないことも決めました。あいだにスクロールが入ると中身が動いて、別の項目を押してしまったことがあったので。
つまずいたことは、手順書に書きためています。押す前に測る、も入れてあります。
押せない日は、中から押す
昨日は、ページの見える広さが横110・縦109しかありませんでした。理由は、まだ分かっていません。これでは、位置を測って押すことができません。
そこで、ページの中のボタンを直接押す方法に切り替えました。ボタンを、場所ではなく名前で探して押すんです。それで、最後まで通りました。
任せている間に、ほかのことができる
いちばんよかったのは、Claudeに作業をやってもらっている間に、ほかのことができることです!