メインコンテンツへスキップ

acomo のテスト戦略:AI が書くコードを受け止めるテストハーネス

    はじめに

    acomo は、申請・承認ワークフローを API で扱えるヘッドレス型のワークフロー SaaS です。バックエンド、フロントエンド、API 仕様、API クライアントをひとつのリポジトリで管理しており、どこか 1 か所の変更が他の層へ波及しやすい構成です。

    acomo の開発チームでは、AI コーディングアシスタントを使った開発がすっかり定着しました。実装の速度は上がった一方で、「この変更で何も壊れていない」と確かめるコストが、開発全体のボトルネックとして目立つようになりました。

    本記事では、この状況に合わせて再設計した acomo のテスト戦略を紹介します。ツールの使い方や個別の設定には立ち入らず、「何を・いつ・なぜ検証するのか」という設計の考え方を中心にお伝えします。


    自動テストは、AI 以前からあった

    前提として、acomo に自動テストがなかったわけではありません。API ベースのプラットフォームという性質上、実データベースを使ったバックエンドの統合テストや、ブラウザ経由の E2E テストは、人間のメンバーが実装しレビューし合っていた時代から積み重ねてきました。

    当時は「書いた本人がローカルでテストを回し、レビュアーが目視で補う」という運用で十分に機能していました。変更量が人間の書けるペースに収まっていて、レビュアーが変更の意図と影響範囲を把握できていたからです。

    AI コーディングアシスタントが開発の主役になると、この前提が崩れました。

    • 変更量が増え、1 つの依頼でフロントエンドからバックエンドまで横断した差分が生まれる

    • 一見正しそうなコードが、暗黙の前提を外していることがある

    • レビューが差分の妥当性確認に追われ、設計判断に使う時間が削られる

    さらに acomo では、人間だけでなく AI エージェント自身が実装からテスト実行までを担う場面が増えました。人間なら「なんとなく怪しいから多めに確認しておこう」と判断できますが、エージェントには「何をどこまで検証すれば合格か」を機械的に判定できる手順が必要です。

    つまり課題は「テストを増やすこと」ではありませんでした。人間と AI が同じ入口から同じように検証でき、結果から機械的に合否を判定できる、テストハーネスとしての整備が必要だったのです。


    方針:必要十分な検証を自動で選ぶ

    再設計にあたって、次の 3 つを方針に置きました。

    1. 入口を一本化する:人間と AI エージェントが、同じ手順で同じように検証できる状態にする

    2. 変更の種類に応じて選ぶ:すべての変更にすべてのテストを課すのではなく、必要なものだけを自動で選択する

    3. 合否を機械で判定する:「たぶん大丈夫」ではなく、ゲートを通過したかどうかで判断する

    全部の E2E テストを毎回流せば安全ですが、待ち時間が長くなり、せっかく上がった実装速度を打ち消してしまいます。速度と安全性を両立させるには、検証を層に分け、変更内容に応じて出し分ける必要がありました。


    テストの全体像:4 つの層

    acomo のテストは、守る対象の違いで 4 つの層に分かれています。

    画像
    画像

    このうち E2E 層は特にコストが高いため、さらに 3 段階に分けています。ここからは、E2E の段階分けと契約層のチェックを順に見ていきます。


    スモークテスト:全体の生死を最小コストで確かめる

    E2E の最小単位がスモークテストです。ログインして主要な画面に到達できるか、という数本のシナリオだけを流します。

    画像

    確認したいのは業務機能の正しさではなく、この経路が 1 本つながっていることです。フロントエンド、API、認証、初期データのどれかが壊れていれば、ここで必ず止まります。逆に言えば、スモークテストが通っても業務機能の保証はありません。役割を「全体の生死確認」に絞ることで、すべてのプルリクエストに課しても耐えられるコストに抑えています。

    スモークテストだけで画面の変更を合格にしない、という運用ルールとセットです。画面に触れた変更では、次のドメイン別 E2E をあわせて実行します。


    ドメイン別 E2E:変更した領域だけを狙う

    acomo の E2E シナリオは、ユーザー管理、ワークフローモデル、認証設定といった業務ドメイン単位に整理されています。全体で 40 本を超えるため、毎回すべて流すと時間がかかりすぎます。

    そこで、プルリクエストの段階では全件を実行せず、変更した領域に対応するドメインのシナリオだけを実行するルールにしています。ユーザー管理の画面を直したならユーザー管理のシナリオを、モデル編集に触れたならモデルのシナリオを、という対応づけです。

    この方式には 2 つの利点があります。1 つは、失敗したときに原因の探索範囲が最初から狭いことです。もう 1 つは、AI エージェントが広範囲の変更をしたときも、触れたドメインの分だけ検証を積み増せばよいことです。ドメインという区切りが、そのまま検証量の調整つまみになっています。


    API 契約チェック:約束破りとコミット漏れを機械で見つける

    acomo は API 仕様を 信頼できる唯一の情報源(SSOT) として扱っています。仕様はバックエンドのコードから自動生成され、リポジトリにコミットされて、API クライアントの生成やドキュメントの源泉になります。

    この仕様を守るため、契約層では 2 種類のチェックを自動で行います。

    • 後方互換チェック:変更前後の仕様を比較し、既存の利用者を壊す変更(フィールドの削除や型の変更など)を検知します

    • ドリフトチェック:実装から生成し直した仕様と、コミット済みの仕様のズレを検知します

    後者は地味に見えて、AI 開発では特に効きます。AI が入出力の型と処理をまとめて書き換えたとき、生成された仕様ファイルの更新だけが漏れる、というミスが起きやすいからです。差分レビューで人間が気づくのは難しい種類のズレなので、人の目とは別のレイヤーで機械的に検知するようにしました。

    なお、実データベースを使う統合層のテストは準備が遅くなりがちですが、検証済みのデータベースを複製して使い回す仕組みを入れて、準備時間を数秒に抑えています。層を増やしても回す気になれる速度を保つことは、戦略全体の前提条件です。


    CI:変更を分類し、段階的なゲートで守る

    ここまでの検証を、CI では次の流れで組み合わせています。まず変更内容を自動で分類し、どの層に触れたかを判定します。その結果に応じて必要な検証だけを起動し、最後に集約ゲートがすべての結果を見て合否を出します。

    画像

    普段の機能開発のプルリクエストと、リリースのプルリクエストでは、求める保証のレベルを意図的に変えています。

    画像

    リリースのプルリクエストには、差分を分析して影響範囲と推奨する確認事項をコメントするレポートも自動で付きます。リリース判断に必要な情報が、人が集めなくてもそろう状態を目指しています。


    導入の効果

    運用してみて、効果は次の点に表れています。

    • 待ち時間が変更に見合う:ドキュメントだけの修正で重い検証を待つことがなくなり、通常のプルリクエストはおおむね 10 分前後で判定が出ます。フル E2E を流すリリース時でも 30 分弱です

    • 「つながっている」ことを常に確認できる:スモークテストのおかげで、環境の配線が切れたままマージされる事故を防げるようになりました

    • API の約束破りがレビュー前に見つかる:互換性を壊す変更やコミット漏れを、人が差分を読み込む前に検知できます

    • レビューを設計判断に使える:機械で判定できることは機械へ任せ、人間のレビューは設計や仕様の妥当性へ集中できるようになりました

    そして何より、AI エージェントへ実装を任せるときの安心感が変わりました。「同じ入口で検証し、ゲートを通ったら合格」という枠組みがあるため、生成された差分の量に気後れせず任せられます。


    まとめ

    acomo のテスト戦略は、「E2E テストを増やした」話ではありません。以前からあった自動テストを層に整理し、変更の種類に応じて必要十分な検証を自動選択する、テストハーネスとして組み直した話です。

    • スモークテストで全体の生死を最小コストで確かめる

    • ドメイン別 E2E で変更した領域だけを検証する

    • 契約チェックで API の約束とコミット漏れを機械的に守る

    • CI は変更を分類し、機能開発は速く、リリースは安全に通す

    AI が書くコードの量は今後も増えていきます。人間のレビューだけで受け止めるのではなく、機械的に合否を判定できる検証の枠組みを先に用意しておくこと。
    それが、AI と一緒に開発を速くするいちばんの近道だと考えています。同じようにモノレポや API プラットフォームを育てているチームの参考になれば幸いです。

    あなたへのおすすめ