
キャプチャリプレイはもう要らない 〜AIでテスト自動化が変わった話〜
はじめに
こんにちは。カラクリ株式会社の芹沢です。QAチームのリーダーとして、チームマネジメントから現場のテスト設計・実装まで一貫して担当しています。
QAエンジニアの皆さん、最近テスト自動化の進め方、変わってきていませんか?
私はQAエンジニアとして日々E2Eテストの自動化に取り組んでいますが、GPT-5の登場以降、テスト自動化の景色が一変しました。正直なところ、テスト自動化においては「キャプチャリプレイツール、もう要らないかも」と思い始めています。
今回は、AIを活用したテスト自動化の実践で感じたこと、うまくいったこと、まだ難しいことを、現場目線でお伝えします。「自動化を進めたいけど、どう始めればいいかわからない」「やってみたけどうまくいかない」という方の参考になれば幸いです。初心者の方にもわかりやすいよう心がけて書きました。
AIがテスト自動化を進めてくれる時代
現在、私はCursorを使ってPlaywrightのテストコードを書いています。といっても、自分でゴリゴリ書くことはほとんどなくなりました。
やっていることはシンプルです。
テスト要件を整理する
AIに作業を依頼する
テストを実行する(自動テストの実行)
エラーが出たらAIに修正してもらう
最終レビューは自分が行う
これだけ。テストケースとプロダクトのソースコードを渡せば、AIがきちんとしたテストコードを書いてくれます。
作業はAIに任せて、レビューは自分が行う。これが私なりの「Human in the Loop」の業務スタイルです。
実際どのくらい「伝わる」のか
たとえば、こんなテストケースを渡すだけで動くテストコードが出来上がります。
例1:(チャットボット)フィードバック機能のテスト
1. 管理画面でフィードバック設定を開いて代替メッセージを編集して更新する
2. チャット画面でメッセージを送信する
→ ボットによりメッセージに対する返答が行われ、代替メッセージがフィードバックされること例2:(チャットボット)起動メッセージのログ保存テスト
1. 管理画面で「起動メッセージをログに保存する」をONにする
2. チャット画面にアクセスして起動メッセージを表示する
3. ブラウザリロードする
4. 「過去のメッセージを表示する」ボタンが表示されるので押す
→ 過去のメッセージを確認することができること日本語で書いた手順書レベルの記述で、Playwrightのテストコードが生成されます。GPT-5以降、この精度が劇的に上がりました。以前はプロダクトの調査方法を細かく指示したり、生成されたコードを手直ししたりする必要がありましたが、今はほぼ一発で動くコードが出てきます。
つまり、テストケースさえしっかり用意できれば、自動化は驚くほど簡単になっています。ただし、AIの出力をレビューするためには、自分自身の自動化スキルが欠かせません。それがあって初めて、Human in the Loopが機能します。
キャプチャリプレイツールが不要になった理由
少し前まで、テスト自動化といえばキャプチャリプレイツールが主流でした。人間が画面を操作して記録し、それをテストとして再生する。コードを書かなくていいので導入ハードルが低く、有償のノーコードツールも数多く登場しました。
でも現在は、テストケースが決まっているテストの自動化においては、キャプチャリプレイツールの必要性がなくなったと感じています。
理由はシンプルで、プロダクトのソースコードとテストケースを渡せば、AIが良い感じのテストを書いてくれるから。わざわざ画面をポチポチ操作して記録する必要がありません。
さらに、実装方針やコーディングルールを統制したい場合は、`.cursor/rules/xxx.mdc`などのルールファイルを用意しておけばOK。AIはそれを考慮しながら作業してくれます。
参考:
# Playwright結合テスト実装ガイド
このプロジェクトのPlaywright結合テストは、以下の原則に従って実装すること。
## 基本方針
### 最重要原則
1. **テスト実装によるプロダクションコードへの影響を最小限にする**
2. **プロダクションコード変更の影響を受けにくいテスト実装にする**
3. **locatorによる直接的なセレクター指定は禁止(最後の手段としても使用しない)**
4. **テストで作成したデータは必ずクリーンアップする**
### テストの独立性(必須)
- 各テストは互いに独立して実行できるように設計する
- テスト間でデータを共有しない(各テストで必要なデータをセットアップ)
- 実行順序に依存しない設計
- **テスト終了後は必ずクリーンアップを実施**(次のテストへの影響を防ぐ)
## クリーンアップ処理(必須)
### 基本原則
- テストで作成したデータは、テスト終了時に必ず削除する
- 次のテストが前のテストの影響を受けないようにする
- データベースの状態を元に戻し、テストの再現性を保証する
⋮
(他にもセレクターの優先順位、待機処理、アサーションなど、様々なルールを記載していく)
⋮
## 参考リンク
詳細は以下を参照:
- [Playwright公式ベストプラクティス](https://playwright.dev/docs/best-practices)
- [Playwrightセレクター公式ドキュメント](https://playwright.dev/docs/locators)
リファクタリングはむしろAIの得意分野
`.cursor/rules/xxx.mdc`の活用で特に効果を感じたのが、リファクタリングです。
過去に書いた統制の取れていないコードを、ルールに沿って整理し直す作業。人間がやると「このファイルは直したけど、あのファイルは忘れてた」みたいなことが起きがちですが、AIはきっちり全体を見て、ヌケモレなく対応してくれます。
デグレを起こさないように慎重に、かつ網羅的に。このあたりはむしろAIのほうが得意だと思います。
まだAIには難しいこと
一方で、「ここはまだ難しいな」と感じる領域もあります。
それがUI/UXのテストです。
表示崩れ、使い勝手の違和感、「なんかおかしい」という感覚的な不具合。これを検知するテストは、AIにはまだ難しい。人間のように画面を見て、触って、体験して、「あれ?」と気づく。そういう作業が必要だからです。
以前はPlaywright-MCPのようなキャプチャリプレイツールも試していましたが、今は使っていません。将来的には精度が上がることを期待していますが、現状ではまだ実用レベルに達していないと判断しています。
AIキャプチャリプレイに今後期待すること
では、AIのキャプチャリプレイツールに今後期待することは何か。
それは、モンキーテストやアドホックテスト、探索的テストといった領域の代替です。
要件や仕様書なしで、AIが勝手にプロダクトを触って、バグや改善点を見つけてくれる。そういうツールがあれば、ものすごく助かります。ただ、これは「空気を読む判断」が必要な領域なので、AI化の難易度は非常に高い。だから今は利用・調査を後回しにしています。
整理すると、こうなります。
要件が整理できているもの → AIは得意(作業が得意だから)
要件がないもの → AIは苦手(空気を読む判断が苦手だから)
私がAIキャプチャリプレイを使うとき
じゃあ、いつになったら使うのか。
それは、AIによるUI/UXのテストを任せられるようになったときです。もう少し具体的に言うと、AIテスターのテスト結果でリリース判断ができるようになったとき。「お試しでもいいから、AIに任せてみよう」と舵を切れる品質になったとき。
そのレベルに達するまでは、活用は控えるつもりです。今の精度でAIに任せてリリースしても、何か問題が起きたときに責任が取れません。品質保証の最終判断を委ねるには、まだリスクが高すぎる。結局、人間が確認し直すことになるので、工数が増えるだけという面もあります。
ただ、この領域の進化には期待しているので、引き続きウォッチしていきます。使えるレベルになったら、積極的に取り入れていくつもりです。
まとめ:今すぐ始められること
テストケースが用意できているリグレッションテストの自動化であれば、AIのキャプチャリプレイツールを使わなくても、今すぐ簡単に自動化できます。
やることはシンプルです。
Cursorのような開発環境を用意する
Playwrightなどのテストフレームワークを選ぶ
テストケースとソースコードをAIに渡す
生成されたコードを実行・調整する
AIを活用した自動化を柔軟に、そして確実に進めるために、Playwrightのようなテストフレームワークを直接扱えるようになっておくことをおすすめします。キャプチャリプレイツールに頼らず、コードベースでテストを管理できれば、AIの力を最大限に引き出せます。
「AIを使ってみたけど、思ったほどうまくいかなかった」という声を聞くことがあります。でも、それはAIの限界ではなく、AIへの頼み方の問題であることがほとんどです。要件を整理する、ソースコードを渡す、ルールを明文化する。このあたりを丁寧にやれば、AIは期待以上の働きをしてくれます。
そして、AIの進化は早い。今日のベストプラクティスが、半年後には古くなっているかもしれません。大事なのは、その時代のAIに合わせて試行錯誤し続けること。「これが正解」と固定せず、常にやり方をアップデートしていく姿勢が、AIをうまく活用するコツだと思っています。
できることからどんどんAI化・自動化を進めて、新規機能のテストやUI/UXテストなど、まだまだ人が担うべき領域に注力できる体制をつくる。それが、少数精鋭で品質を守っていくための鍵だと考えています。
この記事が、これからテスト自動化を始める方には最初の一歩として、すでに取り組んでいる方には見直すきっかけになれば嬉しいです。