
No.04 配信数が足りないとA/Bテストは無意味になる?:必要サンプル数の決め方
その検証、始める前から「判断できない」設計になっていませんか?
このシリーズでは、ここまで次のことを解説してきました。
第2回:p値と信頼区間。本当は差があっても、人数が少ないと「有意差なし」になりやすい
第3回:効果量。判断の基準は「元が取れる最低限の差」
第2回の実験では、本当に0.5ptの差があるのに、1群5,000人のテストでは7割が「有意差なし」になりました。第3回のケース2では、利益が出る可能性があるのに、人数が足りずに「判断保留」になりました。
どちらも、原因はテストを始める前にあります。必要な人数を決めずに配信したため、結果がどう出ても判断できない設計になっていたのです。
この記事では、テストの前に「何人に配信すれば判断できるか」を決める方法を解説します。後半では、Google Colabで必要人数を計算するコードも紹介します。
必要な人数を決める5つの材料
必要な人数は、次の5つの材料から計算します。前半の2つは、ほぼ決まった値を使えば大丈夫です。
ほぼ決まった値を使う2つ
有意水準:5% 差がないのに「差がある」と間違える確率の上限です。第2回の実験1で見た「約5%は偶然有意になる」の5%にあたります。
検出力:80% 本当に差があるときに、きちんと「有意」と判定できる確率です。第2回の実験2では、この確率が約3割しかありませんでした。80%にするのが一般的です。
施策ごとに決める3つ
ベースのCV率 過去の同じような配信のCV率を使います。
見つけたい差 第3回で計算した「元が取れる最低限の差」を使います。これより小さい差は、見つけても採用しないからです。
対照群の割合 配信しない群(ホールドアウト)を、全体の何%にするかです。
ポイントは4です。「どのくらいの差を見つけたいか」を決めない限り、必要な人数は計算できません。第3回で効果量と損益分岐を先に考えたのは、このためです。
人数の感覚をつかむ3つのルール
計算の前に、必要人数がどう変わるかの感覚をつかんでおきましょう。以下は、有意水準5%・検出力80%・対照群50%のときの、AとBの合計人数です。
ルール1:見つけたい差が半分になると、必要人数は約4倍になる
ベースCV率3.0%で、0.6ptの差を見つけたい:合計 約2.8万人
ベースCV率3.0%で、0.3ptの差を見つけたい:合計 約10.6万人
小さな改善を確かめたいほど、人数は急に増えます。 「わずかな改善でも見つけたい」は配信コストがかかります。
ルール2:同じ「20%改善」でも、ベースのCV率が低いほど人数が必要
ベースCV率5%(5.0%→6.0%):合計 約1.6万人
ベースCV率3%(3.0%→3.6%):合計 約2.8万人
ベースCV率1%(1.0%→1.2%):合計 約8.5万人
CV率が1%を切るような施策では、数万人規模の配信でも判断できないことがあります。
ルール3:対照群を小さくすると、合計人数は増える
対照群を全体の10%にすると、50%のときより合計人数がかなり増えます。詳しくは、この後の計算結果で見ていきます。
対照群を小さくすれば配信できる人が増えるので、売上の機会損失は減ります。その代わり、判断に必要な合計人数が増えます。どちらを優先するかは、施策の目的で決めます。
Colabで計算してみる
第3回のケース2を使って、実際に必要な人数を計算します。
ベースのCV率:3.0%
見つけたい差:0.42pt(第3回で計算した、元が取れる最低限の差)
前回のテスト:1群5,000人
このコードでは、次の4つを計算します。
前回の設計(5,000人ずつ)で、0.42ptの差を見つけられた確率
前回の設計で、8割の確率で見つけられる最小の差
対照群の割合ごとに、必要な人数
検算:必要な人数で1,000回テストしたら、本当に約8割で有意になるか
import math
import numpy as np
from scipy import stats
ALPHA, POWER = 0.05, 0.80
Z_A, Z_B = stats.norm.isf(ALPHA / 2), stats.norm.isf(1 - POWER)
def required_n(p_base, diff, control_ratio=0.5):
"""差 diff(例: 0.005 = 0.5pt)を見つけるのに必要な人数(対照群, 施策群)"""
p1, p2 = p_base, p_base + diff
k = (1 - control_ratio) / control_ratio # 施策群 ÷ 対照群
p_bar = (p1 + k * p2) / (1 + k)
n_c = (Z_A * math.sqrt(p_bar * (1 - p_bar) * (1 + 1 / k))
+ Z_B * math.sqrt(p1 * (1 - p1) + p2 * (1 - p2) / k)) ** 2 / diff ** 2
return math.ceil(n_c), math.ceil(n_c * k)
def power_of(p_base, diff, n_c, n_t):
"""この人数で、差 diff を見つけられる確率(検出力)"""
se = math.sqrt(p_base * (1 - p_base) / n_c + (p_base + diff) * (1 - p_base - diff) / n_t)
return stats.norm.sf(Z_A - diff / se)
def mde(p_base, n_c, n_t):
"""この人数で、8割の確率で見つけられる最小の差"""
se = math.sqrt(p_base * (1 - p_base) * (1 / n_c + 1 / n_t))
return (Z_A + Z_B) * se
# 第3回のケース2:ベースCV率3.0%、元が取れる最低限の差は約0.42pt
base, target_diff = 0.030, 0.0042
print(f"今の設計(5,000人ずつ)で見つけられる確率: {power_of(base, target_diff, 5_000, 5_000):.0%}")
print(f"今の設計で8割の確率で見つけられる最小の差: {mde(base, 5_000, 5_000)*100:.2f}pt")
for ratio in (0.5, 0.2, 0.1):
n_c, n_t = required_n(base, target_diff, ratio)
print(f"対照群{ratio:.0%}のとき必要な人数: 対照群 {n_c:,}人 + 施策群 {n_t:,}人 = 合計 {n_c + n_t:,}人")
# 検算:必要人数で1,000回テストして、本当に約8割で見つかるか
rng = np.random.default_rng(0)
n_c, n_t = required_n(base, target_diff, 0.5)
hits = 0
for _ in range(1_000):
a, b = rng.binomial(n_c, base), rng.binomial(n_t, base + target_diff)
pa, pb = a / n_c, b / n_t
pp = (a + b) / (n_c + n_t)
z = (pb - pa) / math.sqrt(pp * (1 - pp) * (1 / n_c + 1 / n_t))
hits += 2 * stats.norm.sf(abs(z)) < ALPHA
print(f"\n検算:{n_c:,}人ずつで1,000回テストしたとき、有意になった割合: {hits / 1_000:.1%}")実行結果
今の設計(5,000人ずつ)で見つけられる確率: 22%
今の設計で8割の確率で見つけられる最小の差: 0.96pt
対照群50%のとき必要な人数: 対照群 27,648人 + 施策群 27,648人 = 合計 55,296人
対照群20%のとき必要な人数: 対照群 17,536人 + 施策群 70,143人 = 合計 87,679人
対照群10%のとき必要な人数: 対照群 15,661人 + 施策群 140,947人 = 合計 156,608人
検算:27,648人ずつで1,000回テストしたとき、有意になった割合: 80.9%自社の施策で使うときは、base(ベースのCV率)と
target_diff(見つけたい差)を書き換えてください。
結果の読み方
前回の設計では、8割近くの確率で見逃していた
1群5,000人の設計では、0.42ptの差を見つけられる確率は22%でした。本当に元が取れる施策でも、約8割の確率で「有意差なし」になる設計だったということです。
この人数で8割の確率で見つけられるのは、0.96ptより大きい差だけです。元が取れる最低限の差(0.42pt)の2倍以上なので、そもそも判断できない設計でした。
必要な人数は、合計 約5.5万人
対照群を50%にすると、対照群・施策群それぞれ約2.8万人、合計約5.5万人が必要です。前回の1万人の5倍以上です。
対照群を小さくすると、合計人数は大きく増える
対照群50%:合計 約5.5万人(配信するのは約2.8万人)
対照群20%:合計 約8.8万人(配信するのは約7.0万人)
対照群10%:合計 約15.7万人(配信するのは約14.1万人)
本番の対象者が20万人いるなら、対照群10%でも判断できる人数を確保できます。20万人のうち2万人を対照群に残し、残りの18万人(全体の9割)に配信すれば、判断に必要な人数を満たしつつ、売上の機会損失も抑えられます。
検算:本当に約8割で見つかる
計算した人数で1,000回テストすると、80.9%で有意になりました。計算どおり、検出力は約8割です。
人数が足りないときの5つの打ち手
計算してみると、「そんなに配信できる人がいない」ということもよくあります。そのときの打ち手を紹介します。
1. 複数回の配信を合算する
同じ設計(同じ対照群の割合、同じ訴求)の配信を何回か続け、結果を合算して評価します。月1回の配信なら、数か月分をまとめて判断する設計にします。
2. 見つけたい差を大きくする(施策を強くする)
小さな改善を確かめようとするほど、人数は増えます。件名の細かい違いより、訴求内容やオファーを大きく変えたテストのほうが、少ない人数で判断できます。
3. 対照群の割合を50%に近づける
合計人数は、対照群50%のときにいちばん少なくなります。配信の機会損失を許容できるなら、対照群を増やすのが効率的です。
4. より手前の指標で判断する
購入(CV)よりクリックのほうが、発生件数が多いため少ない人数で差を見つけられます。ただし、クリックが増えても購入が増えるとは限りません。「クリックで改善案を絞り込み、最終的な効果は購入で確かめる」という使い分けがおすすめです。
5. 判断を保留する勇気を持つ
どうしても人数が足りない場合は、テストの前に「今回は判断できない可能性が高い」と関係者に伝えておきます。結果が出てから「有意差なし」で施策を打ち切るより、ずっと健全です。
やってはいけない:途中で結果をのぞいて、有意になったら止める
必要な人数を決めたら、その人数に達するまで判断しないことが大切です。
よくあるのが、配信期間中に毎日結果を確認し、「有意になったので、今日でテストを終了します」とする進め方です。一見、効率的に見えますが、これをすると「差がないのに有意と判断する確率」が5%を大きく超えてしまいます。
実際に試してみましょう。AとBのCV率がまったく同じ(3.0%)テストを、14日間、毎日のぞいた場合のシミュレーションです。
import numpy as np
from scipy import stats
rng = np.random.default_rng(1)
DAYS, PER_DAY, P = 14, 2_000, 0.03 # 14日間、1日あたり各群2,000人に配信、AもBもCV率3.0%(差なし)
TRIALS = 2_000
stopped_early = 0
for _ in range(TRIALS):
a = rng.binomial(PER_DAY, P, DAYS).cumsum() # 日ごとの累計CV数
b = rng.binomial(PER_DAY, P, DAYS).cumsum()
n = PER_DAY * np.arange(1, DAYS + 1) # 日ごとの累計配信数
pooled = (a + b) / (2 * n)
z = (b - a) / n / np.sqrt(pooled * (1 - pooled) * 2 / n)
p = 2 * stats.norm.sf(np.abs(z))
stopped_early += (p < 0.05).any() # 毎日のぞいて、一度でも有意なら「成功」と判断
print(f"差がないのに『有意』と判断した割合(毎日のぞいた場合): {stopped_early / TRIALS:.1%}")差がないのに『有意』と判断した割合(毎日のぞいた場合): 21.8%差がまったくないのに、約5回に1回は「有意差あり」と判断してしまいました。最後に1回だけ判定すれば約5%で済むはずが、毎日のぞくことで約4倍に増えています。
途中経過を見ること自体は問題ありません。配信エラーや大きなトラブルがないかを確認するのは大切です。問題なのは、途中経過で「成功・失敗」を判断して、テストを止めることです。
どうしても途中で判断したい場合は、のぞく回数をあらかじめ決めて基準を厳しくする方法(逐次検定)もありますが、まずは「決めた人数に達するまで判断しない」を守るのが確実です。
テストの前に「設計の宣言」をしておく
必要な人数を計算したら、テストを始める前に、関係者へ次のような形で共有しておきましょう。結果が出てから基準を変える「後出し」を防げます。
【テスト設計】
目的:クーポン付きメール(B案)が、通常メール(A案)より利益を生むかを確かめる
判断に使う指標:配信後14日間のCV率
見つけたい差:0.42pt以上(クーポン費用を回収できる最低限の差)
人数:対象者20万人のうち、2万人を対照群(A案)、18万人を施策群(B案)に、ランダムに分ける
判断の時期:配信から14日後に1回だけ判定する。途中で止めない
判断の基準:差の95%信頼区間とp値を確認し、差が0.42ptを上回るかで採用を判断する
ここまで書いておけば、結果が出たあとの報告もスムーズです。第2回で紹介した「差・信頼区間・p値」と、第3回で紹介した「お金」の報告に、そのまま繋げることができます。
まとめ
人数が足りないテストは、始める前から「判断できない」と決まっている
必要な人数は、有意水準・検出力・ベースCV率・見つけたい差・対照群の割合の5つで決まる
見つけたい差には、第3回の「元が取れる最低限の差」を使う
見つけたい差が半分になると、必要人数は約4倍になる
人数が足りないときは、配信の合算、施策を強くする、対照群を増やすなどで対応する
途中で結果をのぞいて止めると、偶然の「有意」が大きく増える
今日から使えるテンプレート
この記事のコードは、仕組みを理解するための簡易版です。テンプレ集の「テンプレ03:必要サンプル数とMDE」では、ベースCV率と改善幅の組み合わせごとの早見表を一度に出力します。売上や利用額のような「平均の差」を見つけたいときの必要人数も計算できます。
テンプレ03:必要な人数の早見表と、手持ちの人数で見つけられる最小の差
テンプレ04:テスト後に、増分売上とROIを信頼区間つきで算出
テンプレ01:差・信頼区間・p値と報告文を一括出力(記事内で全文無料公開)
▶コピペで実務に使えるPython×CRM効果検証テンプレート集
あわせて読みたい
この記事は、効果検証シリーズの第4回です。今回の「見つけたい差」の決め方は、前回の記事で解説しています。
▶その差に、意味はある?ビジネスで使える「効果の大きさ」の測り方
「人数不足による見逃し」を1,000回の実験で確かめた記事はこちらです。
▶数式なしで分かるp値と信頼区間:CRM担当者のための統計超入門
次回は、ここまでの内容を使って、架空のEC企業の施策を「設計→配信→検証→報告」まで通しで進めるケーススタディをお届けする予定です。
効果検証の記事は、マガジンにまとめています。フォローしておくと、新しい記事が届きます。
施策の効果検証や、分析環境構築についてのご相談も受け付けています。
お気軽にコメントやメッセージでご連絡ください。