メインコンテンツへスキップ
見出し画像

Vitestのテスト待ちを短くしたい。ワーカー数1・2・4を同じ条件で比べてみた

    テストの実行が終わるまで、もう少し待ち時間を短くできないか。

    TypeScriptでVitestを使っているなら、比較候補の一つが「ワーカー上限」です。テストを動かす処理を、最大いくつ同時に進めるかを設定します。

    今回、無料サンプル「Vitest CI Practice」で、Windows環境のワーカー上限1・2・4を各5回比較しました。経過時間の中央値は、上限1が3.073秒、上限2が2.111秒、上限4が1.531秒でした。

    ただし、増やせば必ず速くなるわけではありません。この記事では、役立つ可能性がある条件と、サンプルを使って自分の環境で比較する方法を紹介します。

    ワーカー上限を増やすと、どんな場合に役立つ?

    Vitestの「maxWorkers」は、テスト用ワーカーの同時実行数の上限を指定する設定です。上限4でも、常に4つが動き続けるとは限りません。

    独立して動かせるテストファイルが複数あり、CPUやメモリに余裕がある場合は、並列に進めることで待ち時間を短くできる可能性があります。

    一方で、処理を立ち上げる準備に時間がかかる場合や、CPU・メモリを取り合う場合には、ワーカーを増やしても効果が小さかったり、遅くなったりします。小さなテストが多い場合も、起動の負担が目立つことがあります。

    これは比較を試すための一般的な考え方です。今回の測定だけで、自分のプロジェクトにも同じ効果があるとは判断できません。

    今回の結果:上限1・2・4を各5回比較

    Windows環境で各5回、計15回測定した経過時間の中央値は、次のとおりでした。

    画像

    今回は直接importするcandidate構成に固定し、ワーカー上限だけを変えています。全15回で32テストが成功し、環境・カバレッジ集計の一致と、終了時のファイルの復元成功も確認されています。

    中央値は、5回の値を小さい順に並べたときの真ん中の値です。一番速かった1回だけを選ぶ比較にはしていません。

    上限1と4の差は1,542 ms、約1.54秒です。上限1を基準にすると、約50.2%短くなりました。

    ここで大切なのは、サンプルの通常設定は、もともと上限4だということです。この結果は「上限1と4の比較」であり、通常設定からさらに50%速くした実績ではありません。

    また、測ったのはカバレッジを有効にしたVitestプロセスの経過時間です。カバレッジは、テストでコードのどの部分を通ったかを確認する情報です。CIの起動待ち、依存関係のインストール、ビルドなどを含む、CI全体の待ち時間を50%短縮した結果ではありません。

    過去に紹介したimportの比較や、LinuxのCIでの結果とも分けて扱っています。

    無料サンプルで、手元の比較を試す

    今回使うのは、Vitest CI Practiceのv0.2.0です。自分の業務コードを用意しなくても、同梱されたサンプルで比較の流れを試せます。

    無料サンプル v0.2.0:
    https://github.com/Issey-Kubota/vitest-ci-practice/releases/tag/v0.2.0

    1.サンプルを準備する

    上のリリースからSource codeのZIPをダウンロードして展開します。ZIPを使う場合、Gitは不要です。ローカルで編集していない、新しい作業用コピーを使ってください。

    Node.jsとnpmを用意し、展開したサンプルのフォルダで、次のコマンドを順に実行します。

    $ node --version
    $ npm --version
    $ npm ci

    v0.2.0のREADMEでは、Node.js 22.xの22.12以降、24.x、26以降が対象とされています。Node.js 20・23・25は対象外です。npm ciは、記録された依存関係をインストールするコマンドで、Node.jsやnpmそのものを入れる操作ではありません。初回のインストールにはネット接続が必要です。

    2.ワーカー比較を1回起動する

    次の順に実行します。

    $ npm run verify:manifest
    $ npm run measure:workers
    $ npm run verify:manifest

    measure:workersを1回実行すると、上限1・2・4を各5回、計15回、自動で測定します。条件を交互に切り替えながら、毎回新しいVitestプロセスを起動します。自分でコマンドを15回繰り返す必要はありません。

    verify:manifestは、テストの内容が基準に合っているかを確認します。この確認自体がテストを実行するわけではありません。

    今回のワーカー比較では、importの書き方、テスト内容、カバレッジなどを固定し、ワーカー上限を変えます。測定中はファイルを編集せず、別の測定も同時に走らせないでください。

    なお、npm run measureは別のimport比較用です。この記事のワーカー比較には、npm run measure:workersを使います。どちらも、このサンプルに用意されたコマンドであり、任意のVitestプロジェクトに最初から入っているものではありません。

    3.時間を見る前に、比較が成立したかを確認する

    出力された保存先のsummary.jsonを開きます。まず、次の状態を確認します。

    • completeがtrue

    • validCountが15

    • invalidCountが0

    • fatalReasonsが空の配列([])

    失敗した測定を除いて、速かった回だけで比較しないことが大切です。失敗があれば、理由を確認してからやり直します。測定が完了したことと、速くなったことも別です。

    次にcomparison内のworkers-1、workers-2、workers-4を見ます。

    • medianWallMs:経過時間の中央値

    • minWallMs:今回観測した最小値

    • maxWallMs:今回観測した最大値

    中央値だけでなく、各回の値と最小・最大の開きも確認します。差が小さいのにばらつきが大きい場合は、一度の比較だけで採用を決めず、条件をそろえて再測定します。

    Windowsでは経過時間だけを比較し、CPU時間はnullになります。CPU時間がないことと、測定失敗を混同しないでください。

    自分のプロジェクトやCIで採用する前に

    サンプルで試せるのは、比較の手順と結果の読み方です。自分のコードを自動診断・自動修正するツールではありません。

    実際のプロジェクトでは、次を確認してください。

    • 同じコード、テスト対象、依存関係、実行環境で比較する。

    • ワーカー上限以外の設定や、カバレッジの有無を途中で変えない。

    • 複数回測定し、中央値とばらつきを見る。

    • 必要なテストがすべて実行され、失敗やスキップが意図せず増えていないか確認する。

    • 共有ファイルやデータベースなどを使うテストでは、同時実行による競合がないか確認する。

    • CIへ採用する場合は、CI側でも同じ条件の比較を行う。

    手元のPCとCIでは、利用できるCPUやメモリが違います。ローカルで上限4が速くても、CIで同じ結果になるとは限りません。サンプルに含まれる既存のGitHub Actionsはimport比較用で、この15回のワーカー比較を実行するものではありません。

    まずは上限を一つ変え、同条件で測り、必要なテストを維持できたかを見る。その結果をもとに、自分の環境で採用する設定を選びます。

    まずは無料サンプルで比較してみてください

    v0.2.0のサンプルは無料で公開しています。販売・予約・決済は開始していません。

    無料サンプル:
    https://github.com/Issey-Kubota/vitest-ci-practice/releases/tag/v0.2.0

    v0.2.0の固定資料には公開前の記載が残っています。今回のWindows測定結果は、その後公開したQiita記事で紹介しています。

    技術的な背景を読む:
    https://qiita.com/Issey-Kubota/items/f73629fb6ad67bbe0230

    試用報告・質問:
    https://github.com/Issey-Kubota/vitest-ci-practice/issues

    「1・2・4を比較できたか」「準備・実行・結果の読み方のどこで迷ったか」を教えていただけると、説明を見直す材料になります。実行できなかった報告も歓迎します。

    サンプルの実行と、自分のプロジェクトへの適用は分けてお知らせください。使った版、OS、Node.js・npmのバージョン、実行したコマンドと状況があると確認しやすくなります。会社のコード、個人情報、認証情報は不要です。ログを添える場合は、個人名や機密情報を含むパスなどを伏せてください。

     
     

    なぎ

     
     
    会社員エンジニアのなぎです。AIとコードを使って、毎日の面倒な仕事を少しずつ軽くしています。実際に試した業務自動化の方法や、失敗から学んだことを発信します。

    あなたへのおすすめ