メインコンテンツへスキップ
見出し画像

AIでテストを自動化しても、人のテストで不具合が見つかり続ける理由

    はじめに

    こんにちは。カラクリ株式会社でQAチームリーダーを務めている芹沢です。

    これまでこのnoteでは、テスト自動化やQA業務へのAI活用について発信してきました。今回題材にするのは、私たちがQAを担当しているプロダクトの一つ、カスタマーサポート向けの問い合わせ管理プロダクト(KARAKURI CXM)です。メールや電話などの問い合わせを「チケット」として扱い、オペレーターの応対業務を支援するWebアプリケーションです。このプロダクトに対して、テストケースの導出をAIに任せ、Playwrightによる自動テストを整備し、リグレッションテストの管理も1コマンドで回るようにしてきました。

    では、リリース前のテストはもう自動テストだけで完結しているのか?

    答えはNoです。今でもリリース前には、テスター(人)によるマニュアルテストを必ず実施しています。そして毎回のように、自動テストでは検知されなかった不具合が、人のテストで見つかります。

    今回は「なぜ人がテストすると見つかるのか」を、実際に検知された不具合の事例を交えながら考えてみたいと思います。

    データで見る「人が見つけた不具合」

    私たちのQAチームでは、検知した不具合チケットを管理しており、自動テストが検知したものには「自動テスト検知」のラベルを付けています。ある1つのテストプロジェクトを対象に集計してみると、このようになっていました。

    • 人(マニュアルテスト)による検知:約500件

    • 自動テストによる検知:約50件

    画像

    ※数年にわたるQA活動の累計です。ちなみに、自動テストが十分に整備された直近1年に絞って集計しても、この傾向は変わりませんでした。検知の場は主にリリース前のテスト環境で、本記事で紹介する事例もリリース前に検知したものです。

    なんと9割以上が人による検知です。ただ、この比率だけを見て「自動テストは役に立っていない」と結論づけるのは早計で、面白いのは中身の違いです。

    自動テストで検知された不具合は、その多く(8割以上)が「デグレ」でした。つまり「昨日まで動いていたものが、今日の変更で壊れた」というものです。これは自動テストの得意分野そのもので、期待どおりの働きをしてくれています。

    一方、マニュアルテストで検知された不具合は様相が違います。「既存不具合」(ずっと前から潜んでいたもの)や、後述する「仕様どおりに動いているのに、体験としておかしいもの」などが中心なのです。

    私たちの現在の自動テストは「既知の正しさからの逸脱」を検知する。一方、人は「誰もまだ言語化していないおかしさ」を発見する。 この役割の違いが、データにはっきり表れていました。

    事例1:仕様どおりに動いているのに「不具合」

    直近のリリース前テストで見つかった事例です。

    顧客満足度アンケートの機能で、メールに記載された満足度の数字(1〜5)をクリックするとアンケートフォームが開く、という仕組みがあります。テスターが見つけたのはこんな動作でした。

    1. メールで「3」を選んでフォームを表示する(回答欄は「3」になる)

    2. まだ回答を送信していない状態で、もう一度メールに戻り、今度は「5」を選ぶ

    3. 「続行しますか?」という確認ダイアログが出るので「続行」する

    4. 開いたフォームの回答欄は……「3」のまま

    調べてみると、これは現在の仕組み上そうなる動作でした。再度フォームを開いた際に以前の回答状態が引き継がれるため、最初に選んだ「3」が表示されていました。チーム内で確認した結果、この挙動は現状の仕様として許容する判断となりました。

    しかし利用者の視点ではどうでしょうか。「続行」を選べるUIが提示され、続行したのに、選んだ数字が反映されない。操作と結果が一致していないのです。利用者からすれば、「不具合では?」と感じても不思議ではありません。誤った満足度が送信されてしまうリスクすらあります。

    仕様書だけをオラクル(正解の基準)とするテストでは、この問題を問題として捉えるのは困難です。現在の仕組み上は想定された動作であるため、仕様確認だけであればテストはパスします。テスターは仕様だけでなく「利用者ならどう感じるか」を基準に画面を見ていたからこそ、この挙動を問題として起票し、改めて仕様について考えるきっかけを作ることができました。

    画像

    事例2:テスト対象の「外側」で見つかる

    別の改修の確認テストをしていたときの事例です。

    カスタマー名の表示に関する修正を確認していたテスターが、確認項目自体はすべてOKだったにもかかわらず、こんな不具合を見つけました。

    「一覧と詳細画面の名前は新しくなっているのに、画面上部のタブに表示される名前だけが古いまま残っている」

    このタブはテスト対象の改修とは直接関係のない部分です。テストケースにも書かれていません。それどころか、「カスタマー名を変更したら、画面上のすべての表示箇所が新しい名前になるべき」というレベルのことは、そもそも仕様書にも書かれていません。すべての表示箇所とすべての操作経路の組み合わせを仕様として言語化しようとすれば、とてつもない文章量になり現実的ではない。そして人にとっては、書かれていなくても「名前を変えたら、名前が表示される場所はすべて新しくなるはず」というのは当たり前の期待だからです。

    深掘りすると、タブ名はブラウザ内に保存されており、特定の操作経路でしか更新されない作りになっていました。CSVインポートや別メンバーによる変更では反映されず、リロードしても直らない。「どのタブが誰なのか判断を誤るおそれがある」という、業務影響のある既存不具合でした。

    自動テストが検証できるのは、基本的には事前に「何を正しいとするか」を定義した範囲です。「カスタマー名が更新されること」を検証するテストでは、タブ名までは確認対象にしていませんでした。人は、テスト対象だけでなく画面全体を常に視界に入れ、言語化されたテストケースの何倍もの項目を無意識のうちに同時検証しています。

    事例3:実環境に近い条件で見つかった不具合

    電話チケットの音声認識機能をテストしていたときの事例です。この機能では、オペレーターと顧客の音声をそれぞれ文字起こしし、話者ごとの吹き出しとして画面に表示します。

    テスターは通話を開始したあと、顧客側から1分ほど一切発話しない状態を作りました。顧客が保留にしたり、考え込んで長く黙ったりする場面を想定したテストです。

    その後、オペレーターが一言話し、続けて顧客が発話すると、次のような状態になりました。

    • オペレーターの発話が、オペレーターと顧客の両方の吹き出しに表示される

    • 顧客の発話は文字起こしされない

    • 通話終了後に録音を確認すると、顧客の音声自体は正常に録音されている

    原因を調べると、長時間音声が途絶えた際に動作する復旧処理に問題があり、話者を正しく識別できない状態になっていました。

    この事例で人のテストが効いたのは、実際の利用場面を想像して条件を作り、結果を照合しながら探索を広げたことです。「顧客が長時間黙る」という状況を作り、画面に表示された文字起こしだけで判断せず録音まで確認し、さらに「一定時間音声が途絶えたらどうなるか」という観点へ探索を広げていました。

    このような音声認識を自動テストで検証するには、複数の音声入力、長時間の無音、復旧後の挙動、文字起こし結果との照合まで含めたテスト環境を用意する必要があります。自動化自体は可能でも、一般的なWebのE2Eテストに比べて、環境構築や正解判定の難易度が高くなりやすい領域です。一方、人のテストでは、実際の利用状況を想像しながら条件を作り、得られた結果をその場で照合しながら探索を広げることができます。

    他にもある「人だから見つかる」不具合たち

    過去の起票を眺めていると、人の検知能力の幅広さがよくわかります。

    • 見た目の違和感:「特定のアイコンが潰れて表示されている」「メール署名欄が黒っぽい背景色で表示される」。通常の機能テストでは、こうした見た目の変化を検証対象にしていなければ検知できません。

    • 一瞬のちらつき:「操作を確定した直後、画面表示が一瞬、前の状態に戻ってから切り替わる」。数百ミリ秒の違和感でも、人は気づくことがあります。

    • とっさの探索:「送信完了直後にボタンが押せる状態に戻るので、連打したらエラーが出た」。「連打したらどうなる?」という探索を、人はその場で即興的に行います。

    • 体感性能:「特定のキーワードで検索すると表示に40秒以上かかる」。機能としては成功しているので自動テストはパスしますが、人は「遅すぎる」と気づきます。

    • マルチユーザーの不整合:「他のユーザーが削除したメッセージを、別のユーザーが編集できてしまう」。複数人・複数端末の組み合わせは自動化も可能ですが、組み合わせが増えやすく、人がその場で状況を作り込む探索の中で見つかることも多い領域です。

    なぜ人は見つけられるのか

    もちろん、これは「人にしか不具合を見つけられない」という話ではありません。テストの難しさには、膨大な状態の組み合わせから何を試すかという問題に加え、そもそも「何を正しいと判断するか」を完全には定義しきれないという問題があります。現時点では、そうした不完全さを、人の経験や期待、ドメイン知識が補っている場面が多いのだと考えています。

    ここまでの事例を整理すると、そうした中で人が発揮している強みは、大きく3つに集約できると考えています。

    1. 暗黙のアサーションが桁違いに多い

    自動テストでは、何を正しいとするか、何を検証するかをあらかじめ定義する必要があります。一方、人は画面を見た瞬間に「レイアウトは崩れていないか」「文言は自然か」「色は正しいか」「前の画面との整合はとれているか」「反応速度は普通か」といった膨大な項目を、無意識に同時評価しています。

    テストケースには「カスタマー名が更新されること」としか書かれていなくても、実際に人が実行しているテストは、そこに書かれていない多くの暗黙の検証を含んでいる。

    テストケースの言語化された情報は、人が実際に行っているテストの氷山の一角なのだと思います。

    画像

    2. オラクルが「仕様」ではなく「利用者の期待」

    事例1が象徴的ですが、人は「仕様どおりか」だけでなく、「利用者として自然か」という基準でも判断できます。

    AIの性能向上は目覚ましく、実は仕様書を渡して「利用者視点で違和感はないか」と問えば、最近のAIはかなり鋭い指摘を返してくれます。ただし、それは「誰かが問いを立てて、まとめて考えてもらったとき」の話です。

    人のテスターは違います。テストを実行しながら、操作のたびに「今の動きは自然か」「利用者ならどう感じるか」をリアルタイムに考え続けています。そして違和感を覚えた瞬間に、その場で問いを立て、与えられた仕様そのものを疑うところまで踏み込みます。

    AIにも、画面を操作しながら結果を見て次の行動を判断すること自体はすでに可能になっています。ただ、違和感を自発的に拾い、そこから問いを生み出し続けることを、人のテスターと同じような質や安定性で行えるのかは、まだ分かりません。今のところ、この部分は人の強みであると感じています。

    3. 違和感を起点にした即興の探索

    「あれ?」と思った瞬間に、手順を離れて深掘りできる。連打してみる、リロードしてみる、別のブラウザで同じ操作をしてみる。

    この探索的な動きは、あらかじめ決められたシナリオだけでは再現しきれません。人は、操作中に得た結果を見て、その場で次に何を試すかを変えていきます。経験豊富なテスターほど「怪しい匂い」を嗅ぎ分けるのが速く、違和感から不具合の再現手順を特定するまでの動きも洗練されているように感じます。

    こうした特徴は研究でも報告されている

    こうした探索的なテストについては、近年の研究でも興味深い結果が報告されています。

    2024年に発表されたAndroidアプリのGUIテストに関する実証研究では、探索的テストを、テスターが創造性や経験を活かしながら、テスト設計・実行・学習を反復的に行うアプローチとして扱っています。また、複数のテスターが作成したテストスイートを組み合わせることで、コードカバレッジが高まることも示されています。

    この研究はAndroidアプリを対象としたものであり、本記事で扱っているWebアプリケーションと直接比較できるものではありません。また、本記事の約500件/約50件という数字を裏付ける研究でもありません。

    ただ、「人は、あらかじめ決められたテストケースをただ実行するだけではなく、実行中に得た情報をもとに次のテストを考え、異なる観点からシステムを探索する」という点は、今回紹介した事例とも重なる興味深い知見だと感じました。

    参考論文

    • Di Martino, S., Fasolino, A. R., Starace, L. L. L., & Tramontana, P. (2024). GUI testing of Android applications: Investigating the impact of the number of testers on different exploratory testing strategies. Journal of Software: Evolution and Process, 36(7), e2640. 

    • Itkonen, J., Mäntylä, M. V., & Lassenius, C. (2009). How Do Testers Do It? An Exploratory Study on Manual Testing Practices. Third International Symposium on Empirical Software Engineering and Measurement (ESEM 2009), pp. 494–497.

    人は遅い。でもそれは弱点の裏返し

    誤解のないように書いておくと、人が自動テストより優れている、という話ではありません。

    決まった手順を正確に、速く、何度でも実行することにかけて、人は機械には到底及びません。数百件のリグレッションテストを毎リリース手動で回すのは非現実的ですし、私たちがテストの自動化を進めてきたのはまさにそのためです。デグレ検知という守りの領域は、自動テストが着実に固めてくれています。

    人の「遅さ」は、一つひとつの画面と丁寧に向き合っていることの裏返しでもあります。速く正確な反復は機械へ、観察と経験を使った発見は人へ。現時点での役割分担は、かなりはっきりしていると感じます。

    ただし、この線引きが固定的なものだとは思っていません。AIは日々進歩していて、少し前まで「人にしかできない」と思われていたことが、気づけばできるようになっている。そういう変化を、この数年で何度も目の当たりにしてきました。だからこそ、役割分担は一度決めて終わりではなく、AIの進歩に合わせてテストの進め方を都度見直し、線を引き直していく必要があると考えています。

    おわりに:この「人の領域」とどう向き合うか

    AIによるテストケース導出と自動化を進めてきた立場として、リリース前テストにおける人の存在感は、自動化が進んだ今もまったく薄れていません。むしろ自動化によって単純な反復作業から解放された分、人は探索的テストにより多くの時間を使えるようになり、発見の質は上がっているようにすら感じます。

    一方で、課題もあります。

    • この検知能力は属人的で、経験豊富なテスターのスキルに依存している

    • 「なぜ気づけたのか」が言語化されにくく、形式知として蓄積しづらい

    • 現時点で人の判断に頼っている領域が残る限り、リリース前テストの期間とコストを圧縮しきれない

    今後の探求テーマは、この「人が無意識にやっている膨大な暗黙の検証」をどこまで言語化し、AIに渡せるかだと考えています。仕様どおり=正しい、ではないことをAIにどう教えるか。違和感というあいまいなシグナルを、どうテスト観点に翻訳するか。

    その手段となり得る技術も、急速に進化しています。Claude in ChromeやPlaywright MCP、そしてこの記事を書いている間に登場したGPT-6 AstraのComputer Useのように、AIがブラウザを操作し、画面の状態を確認しながら次に何を試すかを判断できる環境が整いつつあります。OpenAIの発表でも、AstraのユースケースとしてWebサイトに対するフロントエンドのQAチェックが挙げられています。

    こうした技術によって、AIが画面を探索し、結果を見ながら次の操作を考えること自体は、すでに可能になっています。

    一方で、今回紹介したような「テスト対象ではない場所の表示がおかしい」「仕様どおりだが利用者として不自然だ」「一瞬の挙動に違和感がある」といった暗黙の気づきを、AIがどこまで自律的かつ安定して拾えるのかは、まだ検証の余地があります。また、人が感じる「違和感」をAIがどこまで再現できるのか、探索の質をどう評価するのか、といった課題もあります。

    今後は、こうしたブラウザ操作可能なAIを実際のQA業務に取り入れ、人が持っている暗黙のテスト観点をAIに与えることで、探索的テストをどこまでAI化できるのかを試してみたいと考えています。そこで得られた結果をもとに、人とAIの役割分担がどこまで変わっていくのかも探っていきたいと思います。

    この記事を書き始めた時点では「今後試してみたい」と考えていたことが、Astraの登場も含め、思っていた以上の速さで現実に近づいているのかもしれません。このあたりは今後、機会を作って実際に試し、進展があればまた記事にしたいと思います。


    あなたへのおすすめ