メインコンテンツへスキップ
見出し画像

撮った写真と本物のページは、大きさが違った|Claudeにブラウザを任せて分かったこと

    Claudeにブラウザを操作させたとき、最初に思ったのは、これでした。

    こんなことまでできるのか!

    Claude(パソコンの中で動くClaude Code)は、ブラウザを、画面を見ながら動かせます。画面を撮って、どこに何があるかを見て、ボタンを押したり、文字を打ったりする。僕は、記事の下書きを入れる作業を、これで任せています。

    前に「いつかこのブラウザでの動かし方も記事にしたいな」と書いていました。

    今回は、その話です。

    画面を撮って、押す場所を決めている

    Claudeは、ブラウザの画面を写真に撮って、その写真を見ながら押す場所を決めています。

    人が画面を見てボタンを押すのと、やっていることは近いです。違うのは、Claudeが見ているのは画面そのものではなく、撮った写真のほうだということでした。

    押した場所が、少し下にずれていた

    ところが、押したはずのボタンとは違う場所を押していることがありました。

    押す場所は、写真を見て決めることもあれば、ページに「このボタンはどこ?」と聞いて、数字で受け取ることもあります。ずれたのは、ページから受け取った数字を、そのまま写真の上で使ったときでした。

    原因は、写真とページの大きさの違いでした。撮った写真は横1,138。本物のページは横1,278。写真のほうが、約0.89倍に縮んでいたんです。

    たとえば、ページの上から500のところにあるボタンは、写真の上では445のところに写っています。ページの数字のまま500のところを押すと、55だけ下を押してしまう。だから、狙ったボタンの少し下を押していました。

    画像
    撮った写真(横1,138)と本物のページ(横1,278)。ページの位置のまま写真の上で押すと、狙いより下を押してしまう

    毎回、測ってから押す

    直し方は、押す前に、写真の大きさとページの大きさを測って、位置を縮めてから押すことです。

    しかも、この大きさは毎回同じではありませんでした。1,138の日もあれば、1,120の日も、1,099の日もある。同じ日でも、開いている画面で違いました。

    だから今は、決まった数字を使わずに、その日、その画面で測ってから押します。測ってから押すまでのあいだに、画面を動かさないことも決めました。あいだにスクロールが入ると中身が動いて、別の項目を押してしまったことがあったので。

    つまずいたことは、手順書に書きためています。押す前に測る、も入れてあります。

    押せない日は、中から押す

    昨日は、ページの見える広さが横110・縦109しかありませんでした。理由は、まだ分かっていません。これでは、位置を測って押すことができません。

    そこで、ページの中のボタンを直接押す方法に切り替えました。ボタンを、場所ではなく名前で探して押すんです。それで、最後まで通りました。

    任せている間に、ほかのことができる

    いちばんよかったのは、Claudeに作業をやってもらっている間に、ほかのことができることです!

    この記事が参加している募集

     
     
    住宅会社で働く、コードを書けない会社員です。AIを相手に、仕事で使う道具やHP、ゲームとかもつくったりして(笑)。数えたら80個近く。もう自分の担当業務ですらないのに、まだ作ってるんですよね。作っていく過程を、そのまま書いていきます。

    あなたへのおすすめ