メインコンテンツへスキップ
見出し画像

【保存版】AIに頼んだ画面確認が、知らないうちに僕のマウスを奪っていた——画面を奪わせない設定と、指示文の全文

    AIに「ブラウザで確認して」と頼んだら、作業中に僕のマウスとキーボードが、知らないうちに奪われていた。

    2026年11月、僕がPCで別の作業をしている最中に、AIがブラウザの自動確認を裏側で動かしていました。ところが、そのブラウザは「画面が実際に表示される」方式だったため、確認が進むたびにカーソルが勝手に動き、クリックやキー入力が僕の作業中の画面に割り込んできました。「作業の合間に動かすのは別に構わない。でも、おれの操作を持っていくな」——気づいた時に、その場で出した指示です。今日は、この現象がなぜ起きるのか、どうやって気づいたか、そして画面を奪わせないための設定と指示文を全部書きます。AIに裏側の作業を任せている人ほど、一度は似たような場面に遭遇しているはずです。本人は「確認作業をしているだけ」のつもりでも、人間の側から見ると、画面を乗っ取られているのと変わりません。

    何が起きたか——「確認している」だけなのに、操作が割り込んでくる


    画像

    起きていたことは単純です。AIに2つの確認・調査作業を同時に頼んだところ、どちらの作業も「画面が見えるタイプ」のブラウザ自動操作ツールで動いていました。片方の確認が進むと、ブラウザのウィンドウが前面に出てきて、マウスカーソルが勝手にボタンを押しに行きます。僕がちょうど別の作業をしていた手元に、横から割り込んでくる形です。

    厄介なのは、AI側からすると「頼まれた確認作業を、頼まれた通りに実行している」だけだということです。ミスでも暴走でもなく、仕様通りに動いた結果として、人間の作業領域に手を出してしまっていました。エラーが出ていたわけでも、AIが変な判断をしたわけでもありません。頼み方の方に、見落としがありました。

    なぜ起きるのか——「画面が見えるブラウザ」と「画面が見えないブラウザ」の違い


    画像

    ブラウザを自動操作する方法には、大きく2種類あります。1つは、人間が見ているのと同じようにウィンドウを実際に開き、画面上でクリック・入力を行う方式。もう1つは、画面を一切表示せず、裏側のプロセスだけでページを読み込み・操作し、結果だけを受け取る方式(一般に「headless(ヘッドレス)」と呼ばれます)。

    前者は人間が目で見て確認しやすい反面、本物のマウス・キーボード・画面フォーカスを使います。だから、AIがこの方式で動かしている間、そのPCの画面は「AIが今使っている画面」になります。人間が同じPCで別の作業をしていれば、両者が同じマウスとキーボードを取り合う形になるのは、むしろ当然の挙動です。僕はここを見落としていました。

    「画面が見える方式」自体が悪いわけではありません。AIが何をしているかを人間が横で見ながら進めたい時には、むしろ画面が見える方式の方が向いています。問題は、人間が別の作業をしている最中に、見る必要のない確認作業までこの方式で動かしてしまったことです。方式そのものではなく、方式の選び方を間違えていました。

    気づきにくい理由——エラーではなく、「仕様通り」に起きるから


    画像

    このタイプの問題は、エラーログには異常として出てきません。AI側の処理は正常に完走し、確認結果も正しく返ってきます。問題が起きたことに気づくのは、作業中の人間がカーソルの不自然な動きに気づいた瞬間だけです。言い換えると、気づく側の負担でしか発見できない設計になっているということです。

    僕は2つの確認作業を同時に走らせていたので、余計に発生頻度が上がっていました。1つだけなら「たまにカーソルが動く」程度で済んでいたかもしれませんが、重なったことで、明確に作業の邪魔になるレベルまで症状が表に出ました。AIの自動化を複数同時に走らせている人ほど、この現象に当たりやすいはずです。1つずつ見れば軽微でも、同時に動く数が増えるほど、割り込みの頻度は掛け算で増えていきます。

    解決策——画面を出さない設定に変える、指示文全文


    画像

    直し方は、確認作業そのものを「画面が見えない(headless)」方式に切り替えることです。僕が実際に使っている設定と、AIに渡している指示文をそのまま載せます。

    AIへの指示文(コピペ用)
    「ブラウザでの確認・検証は、画面が表示される方式(Playwright MCPなど)を使わず、裏側で動くheadless方式で行ってください。具体的には、Bash経由でPythonのplaywright.sync_apiを使い、chromium.launch(headless=True)でブラウザを起動してください。見た目の確認が必要な時は、画面を直接見るのではなく、スクリーンショットをファイルに保存してから、そのファイルを読んで確認してください。サブエージェントに作業を任せる時も、画面が出るツールを使うエージェントではなく、headlessスクリプトで動くエージェントを指定してください。」

    この設定に変えてからは、確認作業がどれだけ動いていても、画面上のマウス・キーボードは僕の手元にそのまま残っています。

    再発防止のチェックリスト


    画像

    同じ問題を繰り返さないために、今は次の4つを確認するようにしています。

    □ ブラウザを自動操作する指示を出す時、「画面が見える方式」と「見えない方式」のどちらを使うかを明示したか
    □ 複数の確認作業を同時に頼む時、それぞれが画面を奪う方式になっていないか
    □ 見た目の最終確認は、画面を直接見ずに、スクリーンショットのファイルで済ませられないか
    □ サブエージェントに作業を割り振る時も、どのツールを使うエージェントかを名前で指定したか(「確認して」だけでは、画面が出る方式を選ばれる可能性が残る)

    この4つのうち1つでも確認せずに頼むと、また同じ形で作業中に割り込まれる可能性があります。特に最後の1つは、最初の指示を出した本人が忘れていても、サブエージェント側が独自に画面の出る方式を選んでしまうことがあるため、毎回明示するようにしています。

    まとめ:「見てもらう作業」と「見られたくない作業」を分ける


    画像

    AIに作業を任せる時、多くの人は「正しく動くかどうか」ばかりを気にします。でも、僕がこの件で痛感したのは、正しく動いていても、動き方そのものが人間の作業を邪魔する可能性があるということです。しかも、その邪魔は故障ではなく「言われた通りにやった結果」なので、設定を見直すまでは何度でも同じ形で繰り返されます。

    AIの作業には、人間に見てもらう前提の作業(成果物の確認など)と、人間に見られる必要がない作業(裏側での確認・検証)の2種類があります。僕はこれまで、この2つを区別せずに「ブラウザで確認して」とだけ頼んでいました。今は、裏側で済む作業には必ずheadlessを指定し、人間が見るべき場面だけ、意図的に画面を見せるようにしています。この切り分けを一度決めてしまえば、以降は毎回考え直す必要がなく、AIに動かすたびに同じ基準で判断してもらえます。

    AIの自動化を複数並行で動かしている人ほど、一度自分のマウスとキーボードが意図せず動いた経験があるはずです。その時に「たまたま」で済ませず、どちらの方式で動かしていたかを確認してみてください。作業を奪われた側が原因を調べて初めて気づく、というのが一番コストの高い発見の仕方だと僕は考えています。
    お知らせ:この記事に書いている仕組みは、僕が自分の仕事で実際に回しているものです。
    「自社でもAIで業務を効率化したい」「数字まわりも整えたい」という経営者の方向けに、業務効率化×経営コンサルのご相談を受けています。詳しくは末尾のリンクから。
    また、月500円の「読み放題プラン」で、このアカウントの有料の実録記事が読めます。2,980円のキット記事は単品販売で、読み放題には含まれません。


     
     
    エンジニアではありません。経営コンサルとして培った「仕組みで回す」発想を、AIに実装させる側に回っています。 日々の業務・資料・意思決定の仕組みをAIと一緒に作り、うまくいった話も壊れた話もそのまま書きます。

    あなたへのおすすめ