メインコンテンツへスキップ
見出し画像

キャプチャリプレイはもう要らない 〜AIでテスト自動化が変わった話〜

    はじめに

    こんにちは。カラクリ株式会社の芹沢です。QAチームのリーダーとして、チームマネジメントから現場のテスト設計・実装まで一貫して担当しています。

    QAエンジニアの皆さん、最近テスト自動化の進め方、変わってきていませんか?

    私はQAエンジニアとして日々E2Eテストの自動化に取り組んでいますが、GPT-5の登場以降、テスト自動化の景色が一変しました。正直なところ、テスト自動化においては「キャプチャリプレイツール、もう要らないかも」と思い始めています。

    今回は、AIを活用したテスト自動化の実践で感じたこと、うまくいったこと、まだ難しいことを、現場目線でお伝えします。「自動化を進めたいけど、どう始めればいいかわからない」「やってみたけどうまくいかない」という方の参考になれば幸いです。初心者の方にもわかりやすいよう心がけて書きました。

    AIがテスト自動化を進めてくれる時代

    現在、私はCursorを使ってPlaywrightのテストコードを書いています。といっても、自分でゴリゴリ書くことはほとんどなくなりました。

    やっていることはシンプルです。

    1. テスト要件を整理する

    2. AIに作業を依頼する

    3. テストを実行する(自動テストの実行)

    4. エラーが出たらAIに修正してもらう

    5. 最終レビューは自分が行う

    これだけ。テストケースとプロダクトのソースコードを渡せば、AIがきちんとしたテストコードを書いてくれます。

    作業はAIに任せて、レビューは自分が行う。これが私なりの「Human in the Loop」の業務スタイルです。

    実際どのくらい「伝わる」のか

    たとえば、こんなテストケースを渡すだけで動くテストコードが出来上がります。

    例1:(チャットボット)フィードバック機能のテスト

    1. 管理画面でフィードバック設定を開いて代替メッセージを編集して更新する
    2. チャット画面でメッセージを送信する
    
    → ボットによりメッセージに対する返答が行われ、代替メッセージがフィードバックされること

    例2:(チャットボット)起動メッセージのログ保存テスト

    1. 管理画面で「起動メッセージをログに保存する」をONにする
    2. チャット画面にアクセスして起動メッセージを表示する
    3. ブラウザリロードする
    4. 「過去のメッセージを表示する」ボタンが表示されるので押す
    
    → 過去のメッセージを確認することができること

    日本語で書いた手順書レベルの記述で、Playwrightのテストコードが生成されます。GPT-5以降、この精度が劇的に上がりました。以前はプロダクトの調査方法を細かく指示したり、生成されたコードを手直ししたりする必要がありましたが、今はほぼ一発で動くコードが出てきます。

    つまり、テストケースさえしっかり用意できれば、自動化は驚くほど簡単になっています。ただし、AIの出力をレビューするためには、自分自身の自動化スキルが欠かせません。それがあって初めて、Human in the Loopが機能します。

    キャプチャリプレイツールが不要になった理由

    少し前まで、テスト自動化といえばキャプチャリプレイツールが主流でした。人間が画面を操作して記録し、それをテストとして再生する。コードを書かなくていいので導入ハードルが低く、有償のノーコードツールも数多く登場しました。

    でも現在は、テストケースが決まっているテストの自動化においては、キャプチャリプレイツールの必要性がなくなったと感じています。

    理由はシンプルで、プロダクトのソースコードとテストケースを渡せば、AIが良い感じのテストを書いてくれるから。わざわざ画面をポチポチ操作して記録する必要がありません。

    さらに、実装方針やコーディングルールを統制したい場合は、`.cursor/rules/xxx.mdc`などのルールファイルを用意しておけばOK。AIはそれを考慮しながら作業してくれます。

    参考:

    # Playwright結合テスト実装ガイド
    
    このプロジェクトのPlaywright結合テストは、以下の原則に従って実装すること。
    
    ## 基本方針
    
    ### 最重要原則
    1. **テスト実装によるプロダクションコードへの影響を最小限にする**
    2. **プロダクションコード変更の影響を受けにくいテスト実装にする**
    3. **locatorによる直接的なセレクター指定は禁止(最後の手段としても使用しない)**
    4. **テストで作成したデータは必ずクリーンアップする**
    
    ### テストの独立性(必須)
    - 各テストは互いに独立して実行できるように設計する
    - テスト間でデータを共有しない(各テストで必要なデータをセットアップ)
    - 実行順序に依存しない設計
    - **テスト終了後は必ずクリーンアップを実施**(次のテストへの影響を防ぐ)
    
    ## クリーンアップ処理(必須)
    
    ### 基本原則
    - テストで作成したデータは、テスト終了時に必ず削除する
    - 次のテストが前のテストの影響を受けないようにする
    - データベースの状態を元に戻し、テストの再現性を保証する
    
    ⋮
    (他にもセレクターの優先順位、待機処理、アサーションなど、様々なルールを記載していく)
    ⋮
    
    ## 参考リンク
    
    詳細は以下を参照:
    - [Playwright公式ベストプラクティス](https://playwright.dev/docs/best-practices)
    - [Playwrightセレクター公式ドキュメント](https://playwright.dev/docs/locators)
    

    リファクタリングはむしろAIの得意分野

    `.cursor/rules/xxx.mdc`の活用で特に効果を感じたのが、リファクタリングです。

    過去に書いた統制の取れていないコードを、ルールに沿って整理し直す作業。人間がやると「このファイルは直したけど、あのファイルは忘れてた」みたいなことが起きがちですが、AIはきっちり全体を見て、ヌケモレなく対応してくれます。

    デグレを起こさないように慎重に、かつ網羅的に。このあたりはむしろAIのほうが得意だと思います。

    まだAIには難しいこと

    一方で、「ここはまだ難しいな」と感じる領域もあります。

    それがUI/UXのテストです。

    表示崩れ、使い勝手の違和感、「なんかおかしい」という感覚的な不具合。これを検知するテストは、AIにはまだ難しい。人間のように画面を見て、触って、体験して、「あれ?」と気づく。そういう作業が必要だからです。

    以前はPlaywright-MCPのようなキャプチャリプレイツールも試していましたが、今は使っていません。将来的には精度が上がることを期待していますが、現状ではまだ実用レベルに達していないと判断しています。

    AIキャプチャリプレイに今後期待すること

    では、AIのキャプチャリプレイツールに今後期待することは何か。

    それは、モンキーテストやアドホックテスト、探索的テストといった領域の代替です。

    要件や仕様書なしで、AIが勝手にプロダクトを触って、バグや改善点を見つけてくれる。そういうツールがあれば、ものすごく助かります。ただ、これは「空気を読む判断」が必要な領域なので、AI化の難易度は非常に高い。だから今は利用・調査を後回しにしています。

    整理すると、こうなります。

    • 要件が整理できているもの → AIは得意(作業が得意だから)

    • 要件がないもの → AIは苦手(空気を読む判断が苦手だから)

    私がAIキャプチャリプレイを使うとき

    じゃあ、いつになったら使うのか。

    それは、AIによるUI/UXのテストを任せられるようになったときです。もう少し具体的に言うと、AIテスターのテスト結果でリリース判断ができるようになったとき。「お試しでもいいから、AIに任せてみよう」と舵を切れる品質になったとき。

    そのレベルに達するまでは、活用は控えるつもりです。今の精度でAIに任せてリリースしても、何か問題が起きたときに責任が取れません。品質保証の最終判断を委ねるには、まだリスクが高すぎる。結局、人間が確認し直すことになるので、工数が増えるだけという面もあります。

    ただ、この領域の進化には期待しているので、引き続きウォッチしていきます。使えるレベルになったら、積極的に取り入れていくつもりです。

    まとめ:今すぐ始められること

    テストケースが用意できているリグレッションテストの自動化であれば、AIのキャプチャリプレイツールを使わなくても、今すぐ簡単に自動化できます。

    やることはシンプルです。

    1. Cursorのような開発環境を用意する

    2. Playwrightなどのテストフレームワークを選ぶ

    3. テストケースとソースコードをAIに渡す

    4. 生成されたコードを実行・調整する

    AIを活用した自動化を柔軟に、そして確実に進めるために、Playwrightのようなテストフレームワークを直接扱えるようになっておくことをおすすめします。キャプチャリプレイツールに頼らず、コードベースでテストを管理できれば、AIの力を最大限に引き出せます。

    「AIを使ってみたけど、思ったほどうまくいかなかった」という声を聞くことがあります。でも、それはAIの限界ではなく、AIへの頼み方の問題であることがほとんどです。要件を整理する、ソースコードを渡す、ルールを明文化する。このあたりを丁寧にやれば、AIは期待以上の働きをしてくれます。

    そして、AIの進化は早い。今日のベストプラクティスが、半年後には古くなっているかもしれません。大事なのは、その時代のAIに合わせて試行錯誤し続けること。「これが正解」と固定せず、常にやり方をアップデートしていく姿勢が、AIをうまく活用するコツだと思っています。

    できることからどんどんAI化・自動化を進めて、新規機能のテストやUI/UXテストなど、まだまだ人が担うべき領域に注力できる体制をつくる。それが、少数精鋭で品質を守っていくための鍵だと考えています。

    この記事が、これからテスト自動化を始める方には最初の一歩として、すでに取り組んでいる方には見直すきっかけになれば嬉しいです。

    あなたへのおすすめ