
E2Eの失敗から15分で、AIが直してマージする。でも、不具合は隠させない。
21時26分、夜間のE2Eが走り始めました。870件を10並列で流して、19分。落ちたのは1件だけでした。
以前なら、この1件の修正PRを翌朝に人が見てマージしていました。
21時47分、失敗のIssueができる。AIがそれを読んで修正PRを作り、影響するテストを流し直す。22時1分、PRはマージされていました。その間、人は誰も触っていません。
便利です。でも、もしあのPRが本当は不具合で落ちたテストを書き換えて通したものだったら?
考えすぎではありません。Playwright が公式に用意しているテスト修復AI(healer)の指示書には、こういう趣旨のことが書かれています。
期待値やアサーションも直してよい。ユーザーには質問するな。テストを通すために、最も妥当なことをせよ。
(原文:"Fixing assertions and expected values" / "Do not ask user questions, you are not interactive tool, do the most reasonable thing possible to pass the test.")
テストは正しいと強く確信できるのに失敗が続くときは test.fixme でスキップする、とも書かれています。それでも、期待値まで書き換えてよいのが既定の動きです。
申し遅れました。口コミコムでQAエンジニアをしている Otomo です。
この記事はAIにE2Eを直させて自動でマージするまでの話です。といっても、うまくいった話より、ヒヤッとした話が中心です。
この記事に出てくる3つのヒヤッと
AIが、テストに仕込んだアラームを止めて通した
「どれかのPRのせいです」で、修正が自動マージされていた
安全側のはずの判定が、実は素通りだった
毎日壊れるE2E
口コミコムでは、本体に1日30〜50本のPRがマージされます。ボタンの部品が入れ替わる、ラベルの文言が変わる。そのたびにE2Eのロケータが壊れます。
壊れたテストをAI(Claude)に直させること自体は、2026年3月から続けています。夜に落ちたテストをAIが直し、翌朝に人がPRを見てマージする、という流れです。修正PRは「部品が置き換わったので、要素の取り方を変えた」といったものが多く、人が見てもそのままマージすることがほとんどでした。それなら、マージまで自動にできるはず。
AIにE2Eを直させるのは、もう特別なことではありません。冒頭の Playwright の healer も、2025年10月に公式に入ったものです(v1.56)。
ただ、ひとつ怖いことがあります。テストが落ちるのは画面の変更だけが原因ではありません。本体の不具合で落ちることもあります。そのテストをAIが「直して」通したら、不具合は見えなくなります。E2Eがある意味がなくなってしまうのです。
仕様と矛盾するテストをわざと与えるベンチマーク(ImpossibleBench)では、Claude 系のモデルがズルをしたとき、その手口の79%超がテストの書き換えでした。E2Eの修復とは条件が違いますが、この記事で使っているのも Claude です。
だから、AIに任せるなら、どこかに線を引く必要があります。その線を引くまでに、ヒヤッとしたことが3回ありました。
ヒヤッ① AIさん、それアラームです
あるテストにはわざと「アラーム」を仕込んでいました。デモデータの入力欄は空のはず。空じゃなくなったら教えてね、というアサーションです。
ある日、デモデータの中身が変わって、アラームが鳴りました。AIの修正がこちら。
- // デモデータが変わり、JSON入力欄が空でなくなったら、ここで前提崩れとして検知する
- await expect(jsonInput).toHaveValue('');
+ await expect(jsonInput).not.toHaveValue('');
await expect(updateButton)
- .toBeDisabled();
+ .toBeVisible();……止めてる。アラーム、自分で止めてる。
「空であること」を「空でないこと」に反転させ、「押せないこと」を「見えること」に弱めています。人に知らせるためのアラームを、AIが自分で止めて通したのです(代わりにJSONの形を確かめるチェックは足していました。コードは短くしています)。
このときは本当にデモデータが変わっただけで、修正は正しかったのです。AIもPR本文に理由を書いていて、人が読んでマージしました。でも、もし不具合だったら? AIはきっと同じように書き換えていました。自動マージにしたら、それが人の目を通らずに入ります。
9月のAIの修正PR 8件に、いまのガードを当ててみました。4件が「期待値に触れる修正」として止まる形でした。
塞いだ方法:直してよい失敗だけ渡し、期待値に触れたら止める
対策は2段構えです。どちらもAIではなく、スクリプトが機械的に判定します。
入口:失敗を仕分ける。テストが落ちた瞬間に、APIの5xxと画面のJS例外の有無、探していた要素が画面のどこかに残っているかを記録します。それをもとに、失敗を次のように分けます。
セレクタ変更の疑い:要素は画面にあるのに、指定した取り方では見つからない → AIが直す
要確認:要素も文言も無い、値が違う → 本体PRが意図した変化のときだけ直す
不具合の疑い:落ちるまでに5xxやJS例外が出ていた → 直さない。事象をまとめる
環境起因の疑い:接続断、デプロイ中の白紙画面 → 直さない
出口:ロケータの直しだけを自動で通す。AIの修正PRの差分と再実行の結果を見て、次のどれかがあれば自動マージせず人に回します。
期待の種類(matcher)や期待値が変わる(toBeDisabled → toBeVisible、'3件' → '4件')
アサーションが減る、タイムアウトが延びる
skipや固定待機、リトライで通す形が増える
getByRole の role が別の role に変わる(button → link など。理由は後述)
影響するテスト(spec)を流し直して、1件でも落ちる
部品の置き換えでクラス名が無くなったので、locator('.toggle__background') を getByRole('switch', { name: 'グラフに名称を表示する' }) に変える。このように同じ要素の取り方だけを変える修正は通します。線引きは一言で言うと、こうなります。
ロケータの直しは自動、期待値の直しは人。
「何を確かめるか」は人が決め、「どうやってその要素をつかむか」だけをAIに任せる、ということです。仕分けを入れた10月2日から10月20日までの自動修正PR 6件では、期待値に触れる修正は0件でした(6件のうち2件は、自動マージを始めた10月16日より前のもので、人がマージしています)。
2段の関係も補っておきます。入口で「要確認」をAIに渡しても、期待値を書き換える直しは出口で必ず止まります。「値が違う」失敗が自動で通るのは、別の要素をつかんでいた、といったロケータだけの直しのときだけです(さらに根拠の本体PRも要ります。ヒヤッ②)。
ただし、ロケータの直しにも意味の変化が紛れることがあります。getByRole('button') を getByRole('link') に変える直しは、要素の役割(role)そのものが変わっています。role はアクセシビリティ上の仕様なので、本当は期待値の変化に近いものです。実際、自動マージした4件のうち1件(10月16日の夜間の修正。ヒヤッ②とは別のPR)はこの形でした。本体PRが意図した変更ではあったものの、仕組みとしては素通りできる形です。そこで今は、role が別の role に変わる直しも自動マージせず人に回しています。
ロケータに絞っても、自動化の効き目は小さくなりません。テストが壊れる原因を調べた研究では、7割超がロケータでした(Hammoudi ほか 2016)。対象は2016年の、操作を記録して再生する形式のテストなので、手書きの Playwright にそのまま当てはまるとは限りません。それでも、壊れるものの多くはAIに任せてよい側にある、と考えています。
これで安心、とはいきませんでした。
ヒヤッ② 「どれかのPRのせいです」って言われても
「要確認」の失敗をAIが直すのは、本体PRがその変化を意図しているときだけ。その判断は、原因候補の本体PRを読んだAIがします。
この記事を書くために自動マージの実績を読み返していて、気づきました。ある修正PRの本文に、こう書いてあったのです(抜粋、部品名は言い換え)。
画面を置き換えた本体PRの番号は、Issueの原因候補が長さ上限で省略されていたため特定できていない(カード部品の置き換えの一連のPRのどれか)
……どれか? 思わず声が出ました。
根拠のPRを特定できないまま「意図した変更」と判断された修正が、11分で自動マージされていました。中身は正しかったものの、本体の置き換えでラベルの文言が誤って変わった、といった意図しない変化でも、getByRole の name を直せばテストは通ってしまいます。期待値のガードでは止められない形です。
塞いだ方法:根拠を示せない修正は、人に回す
意図の判断はAIに任せたまま、「要確認」を直したときは、テストごとに根拠の本体PR番号をPR本文に書かせます。
## 要確認の根拠
- `toggle.spec.ts`: 本体 #12345(トグルを新しい部品に置き換え)
## 直していない失敗
- `search.spec.ts`: 意図した変化か判断できないスクリプトが失敗Issueと突き合わせ、「要確認」だったテストがどちらにも無ければ人に回します。AIの判断は信じても、根拠の無い判断は通さない。
そして穴はもうひとつありました。
ヒヤッ③ 安全装置、実は素通りでした
仕分けにはもうひとつ「判定材料なし」があります。失敗した瞬間の記録が取れなかったときの判定です。記録が壊れても自動修正が止まらないよう、ここは「AIが直す」扱いにしていました。
この記事のために判定ルールを読み直していて、手が止まりました。あれ、これ通るじゃん。不具合かどうかを確かめられない失敗が、自動マージまで進んでしまいます。実例は0件でしたが、穴は穴です。いまは判定材料なしの失敗が1件でもあれば、修正はAIに作らせても、マージは人が決めます。
結局、どこまでAIに任せているのか
3つを塞いだいまの流れはこうです。

AIが決めるのは「どう直すか」と、要確認の失敗が「意図した変化か」だけです。直してよい失敗かどうか(入口)と、マージしてよい修正かどうか(出口)は、スクリプトが失敗時の記録と差分から決めます。
自動マージを始めてからの4件は、失敗Issueができてからマージまで、11〜16分でした。どれも本体の部品の置き換えへの追従で、ロケータだけの直しです(このうち2件、先に触れた button → link の修正とヒヤッ②の修正は、いまのルールなら人に回ります)。
人を介さずに直す範囲を狭く決めて、そこだけは任せきる。狭く絞ったからこそ、人を待たずに15分で直せます。
ほかのチームはどうしているか
壊れたテストを人手なしで直せる仕組みがあるチームは、まだ11%しかないという調査があります(mabl 2026、テストツール会社の調査)。
同じ問題に取り組んだ公開事例は、ほかにもあります。線引きの考え方は近く、違うのは人がどこで入るかです。
monday.com(2026年2月):セレクタの保守と挙動の変化に分け、挙動の変化はテストを直さず人に確認する。修正の適用は必ず人の操作("Nothing happens automatically.")
Sun*(2026年9月):アサーションの変更を禁じ、ロケータとタイムアウト以外は人に回す。修正は必ず Draft PR で人がレビュー
この記事:失敗時の記録で機械的に仕分け、期待値の変更は人に回す。ロケータだけの直しは自動マージし、人は週に1回まとめて点検
ただし Sun* の記事が挙げる限界、「HTTPエラーを伴わない不具合(ボタンが消えるなど)はロケータの失敗と区別できない」は、この仕組みにも当てはまります。要素が画面から消える失敗は「要確認」に入り、根拠がなければ人に回ります(ヒヤッ②)。要素が残ったまま場所だけ変わる不具合は見分けられないので、週次の点検で拾います。
「人の確認が週に1回だと、気づくのが1週間遅れない?」
自動マージした修正は、週に1回まとめて人が点検します。観点(テストで何を確かめるか)が崩れた修正があっても、気づくのは最大で1週間後です。それでも週に1回でよいと考えている前提は2つです。
観点を変えうる修正は、マージ前に人に回っている。点検に来るのは、ロケータだけの直しです。
9月までの観察で、観点が崩れた修正は0件だった。9月の修正PR 8件は、すべて人が読んでからマージし、その後あらためて観点をレビューしています。期待値に触れた4件も含め、観点が崩れたものはありませんでした。
とはいえ、自動マージの実績は4件、9月の観察も8件と、母数はまだ小さいです。週次の点検は不具合を止める関門ではなく、この前提と線引きが正しいかを測るためのものです。NGが出たらガードに足し、前提が崩れたら点検を増やすか、自動マージの範囲を狭めます。
AIに任せる範囲はAIの外で決める
3つのヒヤッとの共通点は、どれもAIが間違えたら、その間違いがそのまま通ってしまう経路だったことです。①と②は、修正そのものは正しかったにもかかわらず、です。
任せてよいかをAIの自己申告で決めると、間違えた1回がそのまま通ります。だから線はAIの外で、機械的に引く。
E2Eの失敗から15分後には直っている。それでも、不具合は見逃さない。その両立はAIの賢さよりも線引きの設計で決まると感じています。
おわりに
ここまで読んでいただき、ありがとうございました。以上、口コミコムのQAから Otomo がお送りしました。
コメント・フィードバック大歓迎!
QAを実践されている方は、AIにテスト修復をどこまで任せているか、ぜひ教えてください。
現在、movではエンジニアをはじめ、各職種の採用を強化中です!少しでも関心をお寄せいただいた方は、ぜひカジュアル面談でお話ししましょう。採用情報はこちらです。
参考
mabl "2026 State of Quality Engineering Report"(米英996人、テストツール会社による調査)
Hammoudi, Rothermel, Tonella "Why do Record/Replay Tests of Web Applications Break?" ICST 2016(The Morning Paper による紹介)
Playwright v1.56.0 リリースノート(2025年10月)
Playwright healer エージェントの定義ファイル(main ブランチ、2026年10月20日に確認)
Zhong, Raghunathan, Carlini "ImpossibleBench" arXiv:2510.20270(2025年10月)
monday.com Engineering "Using AI to Shift E2E Test Maintenance Left"(2026年2月16日)
Sun* Developers「Playwright Test Agents × GitHub Actions:E2E テスト生成・修復の自動化」(2026年9月28日)