メインコンテンツへスキップ
見出し画像

E2Eの失敗から15分で、AIが直してマージする。でも、不具合は隠させない。

    21時26分、夜間のE2Eが走り始めました。870件を10並列で流して、19分。落ちたのは1件だけでした。

    以前なら、この1件の修正PRを翌朝に人が見てマージしていました。

    21時47分、失敗のIssueができる。AIがそれを読んで修正PRを作り、影響するテストを流し直す。22時1分、PRはマージされていました。その間、人は誰も触っていません。

    便利です。でも、もしあのPRが本当は不具合で落ちたテストを書き換えて通したものだったら?

    考えすぎではありません。Playwright が公式に用意しているテスト修復AI(healer)の指示書には、こういう趣旨のことが書かれています。

    期待値やアサーションも直してよい。ユーザーには質問するな。テストを通すために、最も妥当なことをせよ。

    (原文:"Fixing assertions and expected values" / "Do not ask user questions, you are not interactive tool, do the most reasonable thing possible to pass the test.")

    テストは正しいと強く確信できるのに失敗が続くときは test.fixme でスキップする、とも書かれています。それでも、期待値まで書き換えてよいのが既定の動きです。

    申し遅れました。口コミコムでQAエンジニアをしている Otomo です。

    この記事はAIにE2Eを直させて自動でマージするまでの話です。といっても、うまくいった話より、ヒヤッとした話が中心です。

    この記事に出てくる3つのヒヤッと

    • AIが、テストに仕込んだアラームを止めて通した

    • 「どれかのPRのせいです」で、修正が自動マージされていた

    • 安全側のはずの判定が、実は素通りだった

    毎日壊れるE2E

    口コミコムでは、本体に1日30〜50本のPRがマージされます。ボタンの部品が入れ替わる、ラベルの文言が変わる。そのたびにE2Eのロケータが壊れます。

    壊れたテストをAI(Claude)に直させること自体は、2026年3月から続けています。夜に落ちたテストをAIが直し、翌朝に人がPRを見てマージする、という流れです。修正PRは「部品が置き換わったので、要素の取り方を変えた」といったものが多く、人が見てもそのままマージすることがほとんどでした。それなら、マージまで自動にできるはず。

    AIにE2Eを直させるのは、もう特別なことではありません。冒頭の Playwright の healer も、2025年10月に公式に入ったものです(v1.56)。

    ただ、ひとつ怖いことがあります。テストが落ちるのは画面の変更だけが原因ではありません。本体の不具合で落ちることもあります。そのテストをAIが「直して」通したら、不具合は見えなくなります。E2Eがある意味がなくなってしまうのです。

    仕様と矛盾するテストをわざと与えるベンチマーク(ImpossibleBench)では、Claude 系のモデルがズルをしたとき、その手口の79%超がテストの書き換えでした。E2Eの修復とは条件が違いますが、この記事で使っているのも Claude です。

    だから、AIに任せるなら、どこかに線を引く必要があります。その線を引くまでに、ヒヤッとしたことが3回ありました。

    ヒヤッ① AIさん、それアラームです

    あるテストにはわざと「アラーム」を仕込んでいました。デモデータの入力欄は空のはず。空じゃなくなったら教えてね、というアサーションです。

    ある日、デモデータの中身が変わって、アラームが鳴りました。AIの修正がこちら。

    - // デモデータが変わり、JSON入力欄が空でなくなったら、ここで前提崩れとして検知する
    - await expect(jsonInput).toHaveValue('');
    + await expect(jsonInput).not.toHaveValue('');
    
      await expect(updateButton)
    -   .toBeDisabled();
    +   .toBeVisible();

    ……止めてる。アラーム、自分で止めてる。

    「空であること」を「空でないこと」に反転させ、「押せないこと」を「見えること」に弱めています。人に知らせるためのアラームを、AIが自分で止めて通したのです(代わりにJSONの形を確かめるチェックは足していました。コードは短くしています)。

    このときは本当にデモデータが変わっただけで、修正は正しかったのです。AIもPR本文に理由を書いていて、人が読んでマージしました。でも、もし不具合だったら? AIはきっと同じように書き換えていました。自動マージにしたら、それが人の目を通らずに入ります。

    9月のAIの修正PR 8件に、いまのガードを当ててみました。4件が「期待値に触れる修正」として止まる形でした。

    塞いだ方法:直してよい失敗だけ渡し、期待値に触れたら止める

    対策は2段構えです。どちらもAIではなく、スクリプトが機械的に判定します。

    入口:失敗を仕分ける。テストが落ちた瞬間に、APIの5xxと画面のJS例外の有無、探していた要素が画面のどこかに残っているかを記録します。それをもとに、失敗を次のように分けます。

    • セレクタ変更の疑い:要素は画面にあるのに、指定した取り方では見つからない → AIが直す

    • 要確認:要素も文言も無い、値が違う → 本体PRが意図した変化のときだけ直す

    • 不具合の疑い:落ちるまでに5xxやJS例外が出ていた → 直さない。事象をまとめる

    • 環境起因の疑い:接続断、デプロイ中の白紙画面 → 直さない

    出口:ロケータの直しだけを自動で通す。AIの修正PRの差分と再実行の結果を見て、次のどれかがあれば自動マージせず人に回します。

    • 期待の種類(matcher)や期待値が変わる(toBeDisabled → toBeVisible、'3件' → '4件')

    • アサーションが減る、タイムアウトが延びる

    • skipや固定待機、リトライで通す形が増える

    • getByRole の role が別の role に変わる(button → link など。理由は後述)

    • 影響するテスト(spec)を流し直して、1件でも落ちる

    部品の置き換えでクラス名が無くなったので、locator('.toggle__background') を getByRole('switch', { name: 'グラフに名称を表示する' }) に変える。このように同じ要素の取り方だけを変える修正は通します。線引きは一言で言うと、こうなります。

    ロケータの直しは自動、期待値の直しは人。

    「何を確かめるか」は人が決め、「どうやってその要素をつかむか」だけをAIに任せる、ということです。仕分けを入れた10月2日から10月20日までの自動修正PR 6件では、期待値に触れる修正は0件でした(6件のうち2件は、自動マージを始めた10月16日より前のもので、人がマージしています)。

    2段の関係も補っておきます。入口で「要確認」をAIに渡しても、期待値を書き換える直しは出口で必ず止まります。「値が違う」失敗が自動で通るのは、別の要素をつかんでいた、といったロケータだけの直しのときだけです(さらに根拠の本体PRも要ります。ヒヤッ②)。

    ただし、ロケータの直しにも意味の変化が紛れることがあります。getByRole('button') を getByRole('link') に変える直しは、要素の役割(role)そのものが変わっています。role はアクセシビリティ上の仕様なので、本当は期待値の変化に近いものです。実際、自動マージした4件のうち1件(10月16日の夜間の修正。ヒヤッ②とは別のPR)はこの形でした。本体PRが意図した変更ではあったものの、仕組みとしては素通りできる形です。そこで今は、role が別の role に変わる直しも自動マージせず人に回しています。

    ロケータに絞っても、自動化の効き目は小さくなりません。テストが壊れる原因を調べた研究では、7割超がロケータでした(Hammoudi ほか 2016)。対象は2016年の、操作を記録して再生する形式のテストなので、手書きの Playwright にそのまま当てはまるとは限りません。それでも、壊れるものの多くはAIに任せてよい側にある、と考えています。

    これで安心、とはいきませんでした。

    ヒヤッ② 「どれかのPRのせいです」って言われても

    「要確認」の失敗をAIが直すのは、本体PRがその変化を意図しているときだけ。その判断は、原因候補の本体PRを読んだAIがします。

    この記事を書くために自動マージの実績を読み返していて、気づきました。ある修正PRの本文に、こう書いてあったのです(抜粋、部品名は言い換え)。

    画面を置き換えた本体PRの番号は、Issueの原因候補が長さ上限で省略されていたため特定できていない(カード部品の置き換えの一連のPRのどれか)

    ……どれか? 思わず声が出ました。

    根拠のPRを特定できないまま「意図した変更」と判断された修正が、11分で自動マージされていました。中身は正しかったものの、本体の置き換えでラベルの文言が誤って変わった、といった意図しない変化でも、getByRole の name を直せばテストは通ってしまいます。期待値のガードでは止められない形です。

    塞いだ方法:根拠を示せない修正は、人に回す

    意図の判断はAIに任せたまま、「要確認」を直したときは、テストごとに根拠の本体PR番号をPR本文に書かせます。

    ## 要確認の根拠
    - `toggle.spec.ts`: 本体 #12345(トグルを新しい部品に置き換え)
    
    ## 直していない失敗
    - `search.spec.ts`: 意図した変化か判断できない

    スクリプトが失敗Issueと突き合わせ、「要確認」だったテストがどちらにも無ければ人に回します。AIの判断は信じても、根拠の無い判断は通さない。

    そして穴はもうひとつありました。

    ヒヤッ③ 安全装置、実は素通りでした

    仕分けにはもうひとつ「判定材料なし」があります。失敗した瞬間の記録が取れなかったときの判定です。記録が壊れても自動修正が止まらないよう、ここは「AIが直す」扱いにしていました。

    この記事のために判定ルールを読み直していて、手が止まりました。あれ、これ通るじゃん。不具合かどうかを確かめられない失敗が、自動マージまで進んでしまいます。実例は0件でしたが、穴は穴です。いまは判定材料なしの失敗が1件でもあれば、修正はAIに作らせても、マージは人が決めます。

    結局、どこまでAIに任せているのか

    3つを塞いだいまの流れはこうです。

    画像

    AIが決めるのは「どう直すか」と、要確認の失敗が「意図した変化か」だけです。直してよい失敗かどうか(入口)と、マージしてよい修正かどうか(出口)は、スクリプトが失敗時の記録と差分から決めます。

    自動マージを始めてからの4件は、失敗Issueができてからマージまで、11〜16分でした。どれも本体の部品の置き換えへの追従で、ロケータだけの直しです(このうち2件、先に触れた button → link の修正とヒヤッ②の修正は、いまのルールなら人に回ります)。

    人を介さずに直す範囲を狭く決めて、そこだけは任せきる。狭く絞ったからこそ、人を待たずに15分で直せます。

    ほかのチームはどうしているか

    壊れたテストを人手なしで直せる仕組みがあるチームは、まだ11%しかないという調査があります(mabl 2026、テストツール会社の調査)。

    同じ問題に取り組んだ公開事例は、ほかにもあります。線引きの考え方は近く、違うのは人がどこで入るかです。

    • monday.com(2026年2月):セレクタの保守と挙動の変化に分け、挙動の変化はテストを直さず人に確認する。修正の適用は必ず人の操作("Nothing happens automatically.")

    • Sun*(2026年9月):アサーションの変更を禁じ、ロケータとタイムアウト以外は人に回す。修正は必ず Draft PR で人がレビュー

    • この記事:失敗時の記録で機械的に仕分け、期待値の変更は人に回す。ロケータだけの直しは自動マージし、人は週に1回まとめて点検

    ただし Sun* の記事が挙げる限界、「HTTPエラーを伴わない不具合(ボタンが消えるなど)はロケータの失敗と区別できない」は、この仕組みにも当てはまります。要素が画面から消える失敗は「要確認」に入り、根拠がなければ人に回ります(ヒヤッ②)。要素が残ったまま場所だけ変わる不具合は見分けられないので、週次の点検で拾います。

    「人の確認が週に1回だと、気づくのが1週間遅れない?」

    自動マージした修正は、週に1回まとめて人が点検します。観点(テストで何を確かめるか)が崩れた修正があっても、気づくのは最大で1週間後です。それでも週に1回でよいと考えている前提は2つです。

    1. 観点を変えうる修正は、マージ前に人に回っている。点検に来るのは、ロケータだけの直しです。

    2. 9月までの観察で、観点が崩れた修正は0件だった。9月の修正PR 8件は、すべて人が読んでからマージし、その後あらためて観点をレビューしています。期待値に触れた4件も含め、観点が崩れたものはありませんでした。

    とはいえ、自動マージの実績は4件、9月の観察も8件と、母数はまだ小さいです。週次の点検は不具合を止める関門ではなく、この前提と線引きが正しいかを測るためのものです。NGが出たらガードに足し、前提が崩れたら点検を増やすか、自動マージの範囲を狭めます。

    AIに任せる範囲はAIの外で決める

    3つのヒヤッとの共通点は、どれもAIが間違えたら、その間違いがそのまま通ってしまう経路だったことです。①と②は、修正そのものは正しかったにもかかわらず、です。

    任せてよいかをAIの自己申告で決めると、間違えた1回がそのまま通ります。だから線はAIの外で、機械的に引く。

    E2Eの失敗から15分後には直っている。それでも、不具合は見逃さない。その両立はAIの賢さよりも線引きの設計で決まると感じています。

    おわりに

    ここまで読んでいただき、ありがとうございました。以上、口コミコムのQAから Otomo がお送りしました。

    コメント・フィードバック大歓迎!

    QAを実践されている方は、AIにテスト修復をどこまで任せているか、ぜひ教えてください。

    現在、movではエンジニアをはじめ、各職種の採用を強化中です!少しでも関心をお寄せいただいた方は、ぜひカジュアル面談でお話ししましょう。採用情報はこちらです。

    参考


     
     
    QAエンジニアをやっています。 品質保証に関わること、E2Eなどの自動テストなどに大きな興味があります。

    あなたへのおすすめ