メインコンテンツへスキップ
見出し画像

探索的テストをAIに丸ごと任せられるか? 「AIテスター」PoCの設計(前編)

    はじめに

    こんにちは。カラクリ株式会社でQAチームリーダーを務めている芹沢です。

    前回の記事「AIでテストを自動化しても、人のテストで不具合が見つかり続ける理由」の最後で、「ブラウザを操作できるAIを使って、探索的テストをどこまでAI化できるのかを試してみたい」と書きました。今回はその続きです。

    熟練のQAテスターが行っている「探索的テスト」のプロセスを、AIエージェントに丸ごと任せられるかを検証するPoC(概念実証)を始めました。前編の本記事では、実行に入る前の「設計」で考えたことを整理します。実際に回した結果は、ある程度まとまった段階で後編として報告する予定です。

    設計を結果と分けて書くのは、「何を・どの順序で・どこまで任せるか」を先に言語化しておくと、結果を振り返るときの基準になるからです。

    なぜ探索的テストなのか

    AIの活用で開発のスピードが大きく上がり、QAのテストが追いつかなくなってきました。私たちのQAでは、決まった手順を再実行するリグレッションテストの自動化はかなり進んでいます。テストケースの導出をAIに任せ、Playwrightによる自動テストの実装にもAIを活用し、さらにリグレッションテストの管理も1コマンドで回るようにしてきました。

    一方で、新機能に対する探索的テスト、つまり仕様書を読み、触りながら観点を広げ、おかしな動きを見つけたら原因を切り分ける活動は、今も人間のテスターの経験と判断に大きく依存しています。前回の記事で示した「人が見つけた不具合の比率が9割以上」というデータも、少なくとも私たちのQAでは、その傾向と一致しています。

    Claude Codeのような、ツールを使って自律的に調査・判断・行動できるエージェント型AIが実用段階に入ったことで、「ブラウザ操作」「仕様書の読解」「コードを見ての切り分け」「チケット案の作成」までを一気通貫でAIに任せる設計が、技術的には視野に入ってきたと判断しました。

    探索的テストの流れをAI向けに手順化する

    画像

    まず、テスターが探索的テストで行っている思考と行動を、AIが反復実行しやすい手順に整理しました。

    1. テストチャーター(探索の目的・対象)と、実行予算(時間・ターン数など)を決める

    2. 探索的テストの観点を導出する

    3. 実際に操作してOK/NGを確認する

    4. 過程で新しい観点を思いついたら追加する

    5. 導出した観点を次々に消化する

    6. NGに遭遇したら「プロダクト不具合」「テスト実行の問題」「仕様不明(要確認)」に切り分ける

    7. テスト実行の問題なら手順を見直して再実行、プロダクト不具合ならチケット案を作成、仕様不明なら要確認事項として記録する

    8. 観点がすべて終わる(または予算を使い切る)まで繰り返す

    9. 完了したら作業指示者に報告する

    Cem Kanerの定義では、探索的テストは「テスト設計・実行・学習が並行して進む」ことが本質です。上の手順は、それをAIが実装しやすいように単純化したものです。

    範囲や予算を決めずに観点を出し続けると探索が発散するため、James BachとJonathan BachのSession-Based Test Management(SBTM)に倣い、最初にチャーターと実行予算を決めてから始める設計にしました。SBTMは、脱線そのものは禁止せず、どれだけ脱線したかを記録することで、自由さと説明責任を両立させる手法です。この考え方はAIにもそのまま当てはまると感じています。

    観点導出とOK/NG判断には、既存のヒューリスティックを流用します。

    • 観点導出:SFDPOT(Structure / Function / Data / Platform / Operations / Time)や、Whittakerの「ツアー」

    • OK/NG判断(オラクル):HICCUPPS(過去の挙動・製品イメージ・比較対象・仕様・ユーザー期待・製品内の一貫性・目的・標準など、複数の期待との整合性で判断する)

    前回の記事で「仕様どおりに動いているのに不具合」という事例を紹介しました。HICCUPPS(ヒカップス)のように「仕様書以外のオラクル」を明示的にAIへ与えることが、こうした暗黙の気づきを拾う足がかりになると考えています。

    必要な5つの要素技術と、私たちの環境での当てはめ

    画像

    この手順をAIに回させるには、大きく5つの要素技術が必要です。これまでのQA自動化の取り組みのおかげで、ゼロから作る部分は少なくなっていました。

    ① ブラウザ操作能力:新規導入
    Playwright MCPで操作し、画面遷移直後などの節目ではスクリーンショットをAIに画像として読ませる、ハイブリッド構成にします。構造化された画面情報だけでは、レイアウト崩れや見切れといった視覚的な異常を見落とすためです。

    候補にはClaude in Chrome(Chrome拡張)もありました。基本の操作はどちらでもできるので、決め手は「探索テストの回し方に合うか」です。Playwright MCPを選んだ理由は次のとおりです。

    • 専用のプロファイルで別のChromeを起動するので、普段使いのブラウザと分けられる

    • 通信の完了を待つ、サーバーエラーを意図的に返させる、といった通信の操作ができる

    • 使う人が各自で登録するだけで、他のエンジニアの環境に影響しない

    • 既存のPlaywright E2Eと同じ技術なので、ナレッジを流用しやすい

    以前「playwright-mcpが凄すぎるので紹介します(E2Eテスト自動化の自動化)」という記事でテストコード生成の補助として紹介しましたが、今回は「AIが自分で探索するための手足」として使います。

    ② 仕様書コンテキストの取り込み:すでにある
    仕様駆動の開発をしているので、機能ごとに要件定義(受け入れ基準を含む)と設計書がMarkdownでリポジトリにあります。そのままAIに読ませられます。

    ③ 探索テスト観点の動的キュー:セッションごとのMarkdownの表
    「未着手 → 実施中 → OK/NG → 派生観点の追加」というライフサイクルを、セッションごとのMarkdownの表で管理します。仕様書から導出した初期観点と、触りながら気づいた派生観点は区別して記録します。セッション後に人間が「何を試して何を切り捨てたか」を追えるようにするためです。

    ④ 切り分け判断力:部分的にある。二層で考える
    ここが一番の考えどころでした。

    • 一次判定(QA視点・ブラックボックス):これまでの記事で紹介してきた test-knowledge の資料群(未配線の既知機能の台帳、UI表記の調査ガイド、テスト環境固有の差分集など)で、「既知の仕様や環境差ではないか」を先に確認する

    • 二次深掘り(開発視点・ホワイトボックス):それでも疑わしい場合に、過去の修正から抽出した「不具合パターン集」とソースコードで、実装レベルの裏取りをする

    ただし、不具合パターン集は修正PRを事後調査して作った開発者視点の資料で、ブラックボックステストの一次判定にはそのまま使えません。そこで、QAがブラックボックステストで遭遇する「あるある誤検知」のパターン集、いわば不具合パターン集のQA版を、過去にQAから開発へ投げた質問や取り下げたチケットから作ってみました。ただ、今手元にある事例から作った段階で、足りない部分もあるはずです。実際に回しながら更新し、見直していく必要がある点が、今のギャップだと考えています。

    ⑤ 不具合起票・報告:すでにある
    起票フォーマットや粒度のルールをまとめたガイドが test-knowledge にあり、チケット管理ツールともMCP経由で連携できています。PoCでは、実際の起票の前に人間のレビューを挟みます。

    全体の流れ

    画像
    1. 要件定義・設計書から観点の初期セットを作り、キューに入れる

    2. キューから観点を取り出し、Playwright MCPで操作する

    3. OKなら消化済みにし、派生観点があればキューに追加する

    4. NGなら、既知パターンとの突合とソースコードで切り分ける(テスト実行ミスは再実行、プロダクト不具合はチケット案、仕様不明は要確認事項)

    5. キューが空になる(または予算を使い切る)まで繰り返し、結果を報告する

    進め方(ロードマップ)

    画像
    • Stage 0:最小PoC 探索的テストのプロセスをClaude Codeのスキル(定型手順)として書き起こし、1機能・1セッションで最後まで走らせる。観察するのは切り分けの妥当性やチケット案の粒度といった「判断の質」

    • Stage 1:検出力の測定とスキルの改良 既知の不具合を伏せて渡して見つけられるかを測り、漏れた原因をスキルに反映するサイクルを回す

    • Stage 2:安全ガードレール整備 対象データ・環境の隔離、実行予算の上限、起票前のレビューなど、自律実行に向けた安全設計

    • Stage 3:拡張 複数機能への展開、新機能のマージを契機にしたCI連携、定期実行など

    先にスキルにするのは、毎回プロンプトで指示すると再現性がなく、うまくいかなかったときに「手順が悪いのか、指示の揺れなのか」を切り分けられないからです。

    Stage 0 の「成功」をどう定義するか

    検出率や網羅性の定量評価は目的にしません。確認したいのは、「人間の介入なしにプロセスを完走できるか」と「途中の判断が人間から見て妥当か」の2点です。

    • 仕様書を渡すだけで、「観点導出 → 実施 → 切り分け → チケット案作成 → 報告」を最後まで完走できる

    • 切り分けが、後から人間が見て「妥当」と評価できる水準になっている(定性チェック)

    • 不具合があれば、起票に必要な情報を含むチケット案ができ、完了報告まで到達する

    • 本格導入に向けて何が足りないか(コスト・安全設計・カバレッジ管理など)を洗い出せる

    本番環境での実行や、人間が一切確認しない完全自動運用は対象外です。

    想定している構造的な課題

    • 経済性がスクリプトテストと全く違う:1観点ごとに何ターンも推論・操作するので、時間もコストも大きい。人間がやった場合の工数や、並列・夜間実行のメリット、見つかった不具合の価値まで含めて費用対効果を見る必要がある

    • カバレッジが非決定的:実行するたびに違う道を辿るので、受け入れ基準を網羅したかを別途トレースする仕組みが要る

    • 共有テスト環境への副作用:AIが自律的にデータを作成・変更・削除するなら、対象データや実行タイミングの隔離、後片付けの設計が必須

    • 視覚・UX品質の検知には限界がある:スクリーンショットで補っても、「使い勝手の違和感」のような主観的な品質の検知には限界が残る

    まとめ

    • 探索的テストの思考と行動を、チャーターから始まる反復的なプロセスとしてAI向けに整理した

    • 観点導出やOK/NG判断には、SBTM・SFDPOT・HICCUPPSといった既存の手法を流用する

    • 5つの要素技術のうち、仕様書・切り分け材料・起票の仕組みは既存のQA自動化資産でほぼ揃っている

    • 切り分けは「QA視点の一次判定」と「開発視点の二次深掘り」の二層で考える

    • 最小PoCでは、「完走できるか」と「判断が妥当か」を見る

    改めて感じたのは、AIに探索的テストを任せるための材料の多くが、これまで人間のテスターのために整備してきたナレッジそのものだったということです。前回の記事で「AI活用は知識管理と運用設計の問題」と書きましたが、探索的テストでも同じことが言えそうです。一方で、「QAがブラックボックステストで遭遇する誤検知パターン」のように、人の頭の中にはあるのに、まだ言語化しきれていない知識が残っていることも見えてきました。

    次は、この設計で実際に回してみます。結果がまとまったら、うまくいかなかったことも含めて後編として報告する予定です。

    あなたへのおすすめ