メインコンテンツへスキップ
見出し画像

playwright-mcpが凄すぎるので紹介します(E2Eテスト自動化の自動化)


    はじめに

    こんにちは。カラクリ株式会社の芹沢です。
    QAチームでリーダーを務めています。

    前回の記事に続いてAIツールの紹介です。今回はplaywright-mcpです。
    既に類似の記事は公開されていたりしますが、非エンジニアの方でも読みやすくなるように意識して書きました。

    ついに、AIエージェントがE2Eテストも「実用レベルで」行う時代が来ました。驚きを隠せません。あまりにも凄すぎて感動したので、この記事を書くことにしました。

    具体的な事例も交えて紹介するため、少し長くなってしまうかも知れませんが、最後までお読みいただけたら幸いです。


    playwright-mcpとは

    概要

    簡単に言うと、PlaywrightをMCP 経由で AIに操作させる仕組み。例えば、自然言語で作業を依頼し、自動テストコードの生成〜実行を行わせることもできます。
    今回、これからご紹介する範囲で言えば、AIがWebサイトの構造を把握し、自動でテストコードを作成できるようにしてくれる仕組みです。

    「本当に自動でテストコードが書けるの?」と思われるかもしれませんが、はい、できます。

    セットアップ

    テスト対象のリポジトリに何かをインストールする必要はなく、CursorやVisual Studio CodeなどのエディタのMCP設定に以下を追加するだけで使えるようになります(詳しくは公式のREADMEをご参照ください)。

    {
      "mcpServers": {
        "playwright": {
          "command": "npx",
          "args": ["@playwright/mcp@latest"]
        }
      }
    }
    画像

    テスト自動化の課題

    1. 技術的な課題

    GUI自動操作の分野では、画像認識によって画面を操作するツールや、スクリーンショットをもとに画面を認識するAIエージェントが利用されることがあります。

    画像認識型の操作イメージ:

    • スクリーンショットを取得

    • ユーザー名入力欄を画像認識で探す

    • 座標を計算し、その場所をクリック

    • キーボード入力でユーザー名を入力する

    この手法には、次のような課題があります。

    • 画像の精度による誤認識が起きやすい

    • テスト対象の位置ずれが原因で、テストが不安定になる

    • 実際には正しく動作していても、テストが失敗することがある

    こうした理由から、「自動テストを安定的に回せない」という課題が発生していました。

    もちろん、現在主流のPlaywrightやSeleniumなどのE2Eテストフレームワークは画像認識ではなくDOM構造を利用して動作します。しかし、AIエージェントによるブラウザ操作の世界では、スクリーンショットベースで画面を理解する仕組みも多く存在しています。

    2. プロセスの課題

    私がこれまで対応してきた、目にしてきたE2Eテスト(リリース前テスト)では、テスト設計から実行まで、すべて人間がマニュアルで行っていました。
    そしてテストが完了した後に、今後のリグレッションテストに備えてテストコードを作成し、自動化を進めていく、そんな流れが当たり前でした。

    これは私自身の経験に限った話ではなく、多くの企業でも同じようなプロセスが採られており、リリース前はまずマニュアルでテストを実施し、その後で自動化を検討するという流れが今でもよく見られます。

    画像

    このプロセスには、以下のような課題があります。

    • リリース前のすべてのテストにマニュアルテストを実施している

    • テスト自動化(テストコードの作成)に多くの工数がかかる

    結果として、テスト自動化に必要な十分な工数や期間を確保できず、現場では“自動化が負担”となるケースが多く見られました。


    playwright-mcpでテスト自動化の課題解決

    1. 技術的課題の解決

    playwright-mcpは、WebページのAccessibility Snapshot(アクセシビリティスナップショット。ページ上の要素を「ボタン」「テキストボックス」といった役割や名前、状態などの構造化された情報として表したもの)をもとにテスト対象を特定します。

    そのため、スクリーンショットや画面上の座標を頼りに操作する方式と比べて、画面レイアウトの変更に強く、安定したテストの実行が可能です。

    構造化データによるターゲティングの仕組み(例):

    • プロダクトの構造を理解できるデータ(Accessibility Snapshot)を取得

    • Role(役割)や属性(placeholderなど)をもとにフィールドを特定

    • フィールドに対して「値をセットする」といった具体的な操作を実行

    このように構造ベースでターゲティングできるため、画面の見た目に依存せず、安定してテストを回すことができます。

    2. プロセスの課題解決

    Playwright MCPを利用することで、AIは実際にブラウザを操作しながら画面構造や実装内容を分析し、E2Eテストのテストケースやテストコードを生成できるようになります。

    これにより、リリース前テストの段階から、プロダクトの基本機能に対する自動テストを作成・実行しやすくなります。

    結果として、基本機能以外の探索的なマニュアルテストへの注力、及び自動テストとの並走が可能になるため、テストプロセス全体を以下のように効率化できます。

    画像

    メリット

    • テストコード作成の大部分をAIに任せられるため、作業工数を大幅に削減でき、リリース前テストの段階での導入・実践がしやすい

    • 基本機能をリリース前に自動テストで確認できるため、「マニュアルテスト → テスト自動化」という重複作業を減らし、作成したテストはそのままリグレッションテストに再利用できる

    • 基本的な動作確認をAIに任せることで、人は探索的テストに集中でき、不具合の未然検知や品質向上に十分な時間を割くことができる


    playwright-mcpを試してみる

    ここからは、playwright-mcpを組み込んだAIエージェント(今回はCursorを使用)が実際にどのような行動をとり、どのように作業を進めたのかを、具体的な事例でご紹介します。
    あえて簡略化せず、できるだけリアルなやりとりや出力結果をそのままお見せすることで、実用性の高さや活用イメージをより具体的に感じていただければと思います。

    作業依頼の事例:お知らせ管理機能のテスト自動化

    • テスト対象機能の説明(機能概要)

      • お知らせ管理画面に公開したいお知らせを登録して公開設定を行うと、各ユーザーにお知らせが通知・公開される機能。

    • テスト要件

      • 「Playwrightのテストケースを作成してほしいです。管理画面にお知らせを追加できる画面があると思います。この画面でお知らせを追加するテストを作ってください。また、その追加したお知らせを編集するテストの作成もお願いします。その後、編集したお知らせを公開し、お知らせが公開されていることを確認するテストも作成してほしいです。」

    • AIエージェントの行動

      • 「お知らせの追加、編集、公開のテストケースを作成していきましょう。まず、関連するコードを確認させていただきます。」

      • 「コードを確認したところ、お知らせの追加、編集、公開に関する機能が実装されていることがわかりました。これらの機能をテストするためのPlaywrightテストケースを作成していきましょう。まず、新しいテストファイルを作成します…」

    画像

    作業結果(AIエージェントの成果)

    画像

    不足したテストの修正依頼もしてみる

    • 修正依頼内容

      • 「お知らせが公開されていることの確認は、チケット一覧画面を表示して、画面右上にある「お知らせ」表示欄にも正しく表示されているかを確認するところまでテストしたいです。」

    修正依頼の作業結果

    画像

    実際に作成してくれたテストケース

    import { expect, test } from "@playwright/test";
    
    test.describe("お知らせ機能のテスト", () => {
      test("お知らせの追加、編集、公開のフローをテストする", async ({ page }) => {
        // 管理画面にログイン
        await page.goto("/admin");
        await page.getByLabel("メールアドレス").fill("admin@example.com");
        await page.getByLabel("パスワード").fill("password");
        await page.getByRole("button", { name: "ログイン" }).click();
    
        // お知らせ一覧画面に遷移
        await page.getByRole("link", { name: "お知らせ" }).click();
    
        // お知らせを追加
        await page.getByRole("button", { name: "お知らせを追加" }).click();
        await page.getByLabel("タイトル").fill("テストお知らせ");
        await page.getByLabel("本文").fill("これはテストのお知らせです。");
        await page.getByRole("button", { name: "下書き保存" }).click();
    
        // 保存完了のメッセージを確認
        await expect(page.getByText("下書き保存しました")).toBeVisible();
    
        // 作成したお知らせを編集
        await page.getByText("テストお知らせ").click();
        await page.getByRole("button", { name: "編集する" }).click();
        await page.getByLabel("タイトル").fill("編集後のテストお知らせ");
        await page.getByLabel("本文").fill("これは編集後のテストお知らせです。");
        await page.getByRole("button", { name: "公開する" }).click();
    
        // 公開完了のメッセージを確認
        await expect(page.getByText("編集しました")).toBeVisible();
    
        // お知らせが公開されていることを確認
        await expect(page.getByText("公開済み")).toBeVisible();
        await expect(page.getByText("編集後のテストお知らせ")).toBeVisible();
        await expect(page.getByText("これは編集後のテストお知らせです。")).toBeVisible();
    
        // チケット一覧画面に遷移して、お知らせの表示を確認
        await page.getByRole("link", { name: "チケット" }).click();
    
        // 画面右上のお知らせ表示を確認
        const announcementButton = page.getByRole("button", { name: "お知らせ" });
        await expect(announcementButton).toBeVisible();
        await announcementButton.click();
    
        // お知らせの内容を確認
        await expect(page.getByText("編集後のテストお知らせ")).toBeVisible();
        await expect(page.getByText("これは編集後のテストお知らせです。")).toBeVisible();
      });
    });
    

    作業結果に対する評価

    この結果の精度はどうだったのか?コメントしてみます。

    Good

    テストシナリオの精度は非常に高く、概ね期待通りでした。

    ログイン情報などのテストデータは実際の環境に合わせて修正する必要がありましたが、それ以外はそのまま利用できるレベルのテストケースになっていました。

    実際にテストもパスでき、9割は期待通りの内容でした。

    また、不足していたテストに対して追加の要件を伝えると、その内容を正しく理解し、意図通りにテストケースを修正してくれました。

    そして何より驚いたのが作業スピードです。テスト設計からテストコード作成までのスピードは圧倒的で、人間が作業するのとは比較にならないほど速く感じました。

    More

    もちろん、改善してほしい点もありました。

    例えば、保存や編集時のメッセージは一定時間で自動的に消える仕様だったのですが、生成されたテストコードには waitFor({ state: "hidden" }) のような待機処理が含まれていませんでした。

    今回のケースでは問題なく動作しましたが、より安定したテストにするためには、そのような細かな考慮も入っているとさらに良いと感じました。

    とはいえ、これはレビュー時に人間が補完できるレベルの内容であり、テストコードのたたき台としては十分実用的でした。


    まとめ

    playwright-mcpについて、ここまで紹介してきた内容を改めておさらいします。

    • AIがE2Eテストのテストケースやテストコード作成を大幅に自動化してくれる

    • 簡単な指示だけでテストコードのたたき台を作成できる

    • テストコードを自分で書かなくても、自然言語の指示とレビューだけで利用を始められる

    • 人間が行うのはレビューや細かな調整が中心になる

    • 作業スピードは圧倒的に速く、E2Eテスト導入のハードルを大きく下げてくれる

    • セットアップも簡単で、すぐに利用できる

    特に印象的だったのは、AIがコードや画面構造を分析しながらテストコードを素早く生成してくれるという点です。

    これまで課題だった「テストコード作成工数の大きさ」や「自動化に踏み出せない」といった問題も、playwright-mcpを使えば大幅に解消できる可能性があります。

    そして何より、人が1時間〜半日かけて作っていたテストコードのたたき台を、AIがわずか数十秒で作成してくれるという衝撃。

    playwright-mcpは、「E2Eテスト自動化をもっと身近に・現実的に」してくれるツールだと、今回の事例を通じて強く実感しました。

    ぜひ、皆さんの現場でも試してみてください!


    最後に

    E2Eテストの分野にも、いよいよ本格的にAIが活用できる時代がやってきました。AIの品質が向上したことで、「人間に近い形」で作業ができるようになり、場合によっては人間以上のスピードと正確さを発揮してくれます。

    今回紹介したplaywright-mcpも、まさにその代表例です。
    ルールが明確な作業や、一定のパターンで繰り返される工程においては、AIが代わりにやってくれることがどんどん増えていくでしょう。

    では、人間は何をするべきなのか。私はこう考えています。

    「任せられる作業はAIに任せる。そして、“考えること”と“決めること”に集中する。」

    方針・ルール・要件の設計といった上流工程に注力し、出口ではAIの成果をレビューし、正しい方向に導くこと。それが、これからの時代のQAや開発に求められる役割ではないでしょうか。

    努力や根性で乗り切る時代は、もう終わりを迎えつつあります。変化を恐れるのではなく、変化を使いこなす側になりたいと思います。私はすでにその変化を感じています。そして、それを楽しんでいます。

    最後までお読みいただき、ありがとうございました。

    参考になりましたら、ぜひ「スキ」を押していただけると嬉しいです。
    今後の励みになります。


    あなたへのおすすめ