メインコンテンツへスキップ
見出し画像

Claude Codeでリグレッションテスト管理を1コマンド化してみた

    はじめに

    こんにちは。カラクリ株式会社でQAチームリーダーを務めている芹沢です。

    最近、Claude Codeのカスタムスラッシュコマンドを使って、リグレッションテスト管理を1コマンドで実行できるパイプラインを作ってみました。

    リグレッションテストでは、テストケースの追加・採番・自動テストの実装・CSV更新・整合性確認など、多くの定型作業が発生します。

    そこで、これらを /qa-regression-pipeline という1つのコマンドで実行できる仕組みを構築しました。

    このような定型作業を手作業で運用している現場は、今でも少なくありません。同じような課題を感じている方の参考になれば幸いです。


    前提:リグレッションテストの管理方法

    まず、本記事で前提となるリグレッションテストの管理方法を紹介します。

    テストケースの管理にはCSVを採用しています。CSVを選んだ理由は、以下の3点です。

    • AIがそのまま読み書きしやすいこと

    • リポジトリに配置してコードと一緒にバージョン管理できること

    • テキスト形式なのでdiffが見やすいこと

    特に最初の「AIがそのまま読み書きしやすい」という点は、後述するパイプラインの根幹にも関わっています。

    CSVには「機能・画面」「シナリオ」「手順」「期待結果」といった列があり、ST-0001、ST-0002 のようなテストIDで各テストケースを識別しています。

    見やすさと追跡しやすさのために、テストケースは機能・画面ごとにまとまるように並べています。同じ機能のテストケースが散らばっていると、「この機能のテストがすべて揃っているか」を把握しづらくなるためです。テストIDの連番も、このグループ順に振っています。

    画像

    また、Playwrightで自動テストを書いている場合は、CSVの「自動テスト」列に対応するspecファイルのパスを記載しています。「このテストケースはどのspecファイルで自動化されているか」を管理することで、全体のどのくらいが自動化できているか(カバレッジ)を把握できるようにしています。さらに、「Playwright」列で将来的に自動化する対象かどうかも区別しています。

    画像

    課題:リグレッションテスト管理はやることが多い

    リグレッションテスト(退行テスト)は、新機能リリースのたびに「既存機能が壊れていないか」を確認する大事な作業です。ですが、これを継続的に回すのは地味に手間がかかります。

    新機能のリリースのたびに、こんな作業が発生していました。

    ① 新しいリグレッション項目の追記
    新機能のテスト時に実施したテストケースのうち、「今後も繰り返しチェックすべき項目」を選んで、テストケース一覧に追記します。何でもかんでも追加するわけではなく、重要度や再現性を判断しながら選ぶ必要があります。

    ② 並び順と採番の整理
    テストケースを追記すると、機能・画面ごとにまとめていた並び順が崩れたり、テストIDの連番がズレたりします。「同じ機能のテストはまとめて並べる」というルールを維持するために、追記のたびに並び替えと採番の振り直しが必要になります。

    ③ Playwright自動化の選定と実装
    追加したテストケースの中から、自動化できそうなものを判断して「Playwright」列に「対象」を付与します。そのうえで、対象とマークしたテストケースの内容をspecファイルで作成し、実行します。「どれを自動化するか」という選定の判断と、「実際に書く」実装の2ステップがセットになっています。

    ④ spec紐づけの更新
    実装・実行が完了したら、CSVの「自動テスト」列にspecファイルのパスを記載し、「自動化済」とマークします。これをちゃんとやらないと、カバレッジの把握ができなくなります。

    これを手作業でやると、テストを追加し、並び替えて(または、妥当な行を探してテストを追加し)、specファイルのパスをテストケースに紐づけて…と、多くの手作業が発生し、工数もかかるしミスも起きやすい。かつ、誰がやっても同じ品質になるかというと、そうでもない。

    「この工程、ぜんぶAIに頼めないかな」と思ったのが出発点でした。

    画像

    解決策:4フェーズのパイプラインをコマンド1つに封じ込める

    作ってみたのは `/qa-regression-pipeline` というカスタムスラッシュコマンドです。

    /qa-regression-pipeline <テストケース入力> [PRD入力]

    テストケースのファイルパスかAsanaのURL、オプションでPRD(仕様書)のURLを渡すだけで、以下の4フェーズが順番に実行されます。

    /qa-regression-pipeline apps/cxm/admin/e2e/tmp/qa/feature-name-test-cases-20260625.md
    /qa-regression-pipeline https://app.asana.com/1/xxx/task/yyy

    4つのフェーズを詳しく見てみる

    フェーズ1:リグレッション項目の生成

    新機能のテスト結果(CSVやMarkdownファイル、AsanaタスクのURLが使えます)を読み込んで、「今後も繰り返しチェックすべき重要項目」を選び出し、リグレッションCSVへの追記案を生成します。

    ポイントは、いきなり書き込まないことです。

    まず候補CSVを生成してユーザーに提示し、「OK」の確認が取れてから `--apply` で実際に書き込む、という2ステップになっています。自動化ツールにありがちな「勝手に書き込まれて後から気づいた」が起きません。

    PRDが指定されていれば仕様との整合性もチェックしてくれます。省略しても、テストケースの内容から推定して続行してくれます。

    フェーズ2:テストケースの並び替え・採番整理

    フェーズ1で追記したことで乱れた並び順と採番(`ST-0001`、`ST-0002`…というテストID)を自動で整理します。

    機能・画面単位でグループ化してソートし直し、採番も振り直す。これを手でやると「あれ、この行って何番にすべきだっけ」と迷いが生じますが、コマンドにお任せすれば一貫したルールで整理されます。

    フェーズ3:Playwright自動化の実装

    「Playwright」列への「対象」付与は、フェーズ1のリグレッション項目生成時に、自動化できるかどうかをAIが判断して設定しています。このフェーズでは、そうして「対象」となったテストケースのうちまだ自動化されていないものを全CSVからピックアップして、specファイルの実装→実行→CSV更新まで一貫して行います。なお、フェーズ1で判断しきれなかった漏れはフェーズ4がフォローします。

    フェーズ1・2で新しく追加・採番されたテストケースも、「対象」がついていれば自動的に処理されます。

    specファイルを書いてテストを実行し、通ったらCSVの「自動テスト」列にファイルパスを、「実行結果」列に「自動化済」を記入する、という一連の流れです。

    フェーズ4:自動化状況のチェック・整合性確認

    全CSVを俯瞰して、以下を確認します。

    • Playwright列が空欄だけど、実は自動化できそうな行がないか(「対象」候補の提案)

    • 自動化済みのspecファイルのパスが間違っていたり、紐づけが漏れている行がないか

    こちらもデフォルトは「提案のみ」で、「信頼度:高」の項目だけ `--apply` で反映します。「信頼度:中・低」の項目は手動対応を案内してくれます。


    4フェーズ完了後のレポート

    すべてのフェーズが終わると、以下をまとめて報告してくれるようにしています。

    • フェーズ1:追加したリグレッション項目数(CSV別)

    • フェーズ2:並び替え・採番変更の概要

    • フェーズ3:自動化完了テストケース一覧(テストID・specファイルパス・割り当て環境)

    • フェーズ4:Playwright列の追加・spec紐づけ・パス修正・メタデータ補完の件数

    一連の作業がどこまで進んだか、一目で把握できます。


    仕組みのポイント:スキルの組み合わせ

    このパイプラインは、個別に作っておいた4つのスキル(Claude Codeのカスタムコマンド)を順番に呼び出す構成になっています。

    1. `qa-generate-regression-cases`(リグレッション項目の生成・自動化対象の選定)

    2. `qa-check-regression-sort`(並び替え・採番整理)

    3. `qa-generate-regression-automation`(Playwright自動化の実装)

    4. `qa-check-regression-automation`(自動化状況のチェック)

    各スキルは独立して動作するので、「フェーズ1だけ単独で実行したい」「フェーズ3から再開したい」という使い方もできます。パイプラインコマンドは、それを「1コマンドで全部やる」ためのラッパーという位置づけです。

    ここまでがパイプラインの仕組みです。では、実際に運用してみてどうだったのかを紹介します。


    実際に使ってみてどうか

    正直なところ、「コマンド1つで全部やってくれる」というのは思っていた以上に快適です。

    AIをこうした形で活用できるようになる前は、「テスト終わったらCSV更新して、採番チェックして、specも書かないと…」と、複数の作業をひとつひとつ手動でやっていました。ミスが怖いのでCSVを何度も見直したり。

    今は `/qa-regression-pipeline <ファイル>` を実行し、フェーズごとの提案内容を確認しながら進めています。必要なタイミングで人間が確認し、問題なければ反映する、という流れです。レビューが必要なタイミングでだけ止まってくれるのも助かっています。

    「人が判断すべきところだけ人が見る」という運用になり、定型作業に費やす時間がかなり減りました。


    まだ難しいこと

    すべてお任せできるかというと、そうでもない部分もあります。

    フェーズ3のPlaywright実装精度は、テストケースの手順・期待結果がどれだけ具体的に書かれているかに依存します。「ログインして〇〇画面を開く」程度の粒度が書いてあれば実装してくれますが、曖昧な記述だと実行エラーになることもあります。

    フェーズ4の信頼度「中」「低」の項目は手動対応が必要なため、完全にゼロタッチにはなりません。

    それと、フェーズ間でユーザーの確認を挟む設計なので、「放置して完全に全自動で終わらせる」はできません。これは意図的な設計で、自動化されたコードが何かまずいことをしていないかを人間がチェックするポイントを意図的に残しています。


    まとめ

    `/qa-regression-pipeline` を導入したことで、リグレッションテスト管理に関する定型作業のかなりの部分をAIに委ねられるようになりました。

    特に効果を感じているのは:

    • テストケースの追記・整理がほぼ自動化された

    • テスト自動化の着手コストが大幅に下がった

    • CSVの整合性チェックを自動でやってくれるようになった

    • これらの一連の作業をコマンド1つで実行できるようになった

    画像

    もちろん、人によるレビューは必要です。それでも、定型作業をAIに任せ、人は判断が必要な部分に集中できるようになったのは大きな効果だと感じています。

    QA活動にClaude Codeを活用している方や、「リグレッションテスト管理が大変」と感じている方の参考になれば嬉しいです。

    今後も実際に運用しながら、継続的に改善していく予定です。

    最後まで読んでいただき、ありがとうございました!

    あなたへのおすすめ