メインコンテンツへスキップ
見出し画像

No.04 配信数が足りないとA/Bテストは無意味になる?:必要サンプル数の決め方

    その検証、始める前から「判断できない」設計になっていませんか?

    このシリーズでは、ここまで次のことを解説してきました。

    • 第2回:p値と信頼区間。本当は差があっても、人数が少ないと「有意差なし」になりやすい

    • 第3回:効果量。判断の基準は「元が取れる最低限の差」

    第2回の実験では、本当に0.5ptの差があるのに、1群5,000人のテストでは7割が「有意差なし」になりました。第3回のケース2では、利益が出る可能性があるのに、人数が足りずに「判断保留」になりました。

    どちらも、原因はテストを始める前にあります。必要な人数を決めずに配信したため、結果がどう出ても判断できない設計になっていたのです。
    この記事では、テストの前に「何人に配信すれば判断できるか」を決める方法を解説します。後半では、Google Colabで必要人数を計算するコードも紹介します。

    必要な人数を決める5つの材料

    必要な人数は、次の5つの材料から計算します。前半の2つは、ほぼ決まった値を使えば大丈夫です。

    ほぼ決まった値を使う2つ

    1. 有意水準:5% 差がないのに「差がある」と間違える確率の上限です。第2回の実験1で見た「約5%は偶然有意になる」の5%にあたります。

    2. 検出力:80% 本当に差があるときに、きちんと「有意」と判定できる確率です。第2回の実験2では、この確率が約3割しかありませんでした。80%にするのが一般的です。

    施策ごとに決める3つ

    1. ベースのCV率 過去の同じような配信のCV率を使います。

    2. 見つけたい差 第3回で計算した「元が取れる最低限の差」を使います。これより小さい差は、見つけても採用しないからです。

    3. 対照群の割合 配信しない群(ホールドアウト)を、全体の何%にするかです。

    ポイントは4です。「どのくらいの差を見つけたいか」を決めない限り、必要な人数は計算できません。第3回で効果量と損益分岐を先に考えたのは、このためです。

    人数の感覚をつかむ3つのルール

    計算の前に、必要人数がどう変わるかの感覚をつかんでおきましょう。以下は、有意水準5%・検出力80%・対照群50%のときの、AとBの合計人数です。

    ルール1:見つけたい差が半分になると、必要人数は約4倍になる

    • ベースCV率3.0%で、0.6ptの差を見つけたい:合計 約2.8万人

    • ベースCV率3.0%で、0.3ptの差を見つけたい:合計 約10.6万人

    小さな改善を確かめたいほど、人数は急に増えます。 「わずかな改善でも見つけたい」は配信コストがかかります。

    ルール2:同じ「20%改善」でも、ベースのCV率が低いほど人数が必要

    • ベースCV率5%(5.0%→6.0%):合計 約1.6万人

    • ベースCV率3%(3.0%→3.6%):合計 約2.8万人

    • ベースCV率1%(1.0%→1.2%):合計 約8.5万人

    CV率が1%を切るような施策では、数万人規模の配信でも判断できないことがあります。

    ルール3:対照群を小さくすると、合計人数は増える
    対照群を全体の10%にすると、50%のときより合計人数がかなり増えます。詳しくは、この後の計算結果で見ていきます。
    対照群を小さくすれば配信できる人が増えるので、売上の機会損失は減ります。その代わり、判断に必要な合計人数が増えます。どちらを優先するかは、施策の目的で決めます。

    Colabで計算してみる

    第3回のケース2を使って、実際に必要な人数を計算します。

    • ベースのCV率:3.0%

    • 見つけたい差:0.42pt(第3回で計算した、元が取れる最低限の差)

    • 前回のテスト:1群5,000人

    このコードでは、次の4つを計算します。

    1. 前回の設計(5,000人ずつ)で、0.42ptの差を見つけられた確率

    2. 前回の設計で、8割の確率で見つけられる最小の差

    3. 対照群の割合ごとに、必要な人数

    4. 検算:必要な人数で1,000回テストしたら、本当に約8割で有意になるか

    import math
    import numpy as np
    from scipy import stats
    
    ALPHA, POWER = 0.05, 0.80
    Z_A, Z_B = stats.norm.isf(ALPHA / 2), stats.norm.isf(1 - POWER)
    
    def required_n(p_base, diff, control_ratio=0.5):
        """差 diff(例: 0.005 = 0.5pt)を見つけるのに必要な人数(対照群, 施策群)"""
        p1, p2 = p_base, p_base + diff
        k = (1 - control_ratio) / control_ratio            # 施策群 ÷ 対照群
        p_bar = (p1 + k * p2) / (1 + k)
        n_c = (Z_A * math.sqrt(p_bar * (1 - p_bar) * (1 + 1 / k))
               + Z_B * math.sqrt(p1 * (1 - p1) + p2 * (1 - p2) / k)) ** 2 / diff ** 2
        return math.ceil(n_c), math.ceil(n_c * k)
    
    def power_of(p_base, diff, n_c, n_t):
        """この人数で、差 diff を見つけられる確率(検出力)"""
        se = math.sqrt(p_base * (1 - p_base) / n_c + (p_base + diff) * (1 - p_base - diff) / n_t)
        return stats.norm.sf(Z_A - diff / se)
    
    def mde(p_base, n_c, n_t):
        """この人数で、8割の確率で見つけられる最小の差"""
        se = math.sqrt(p_base * (1 - p_base) * (1 / n_c + 1 / n_t))
        return (Z_A + Z_B) * se
    
    # 第3回のケース2:ベースCV率3.0%、元が取れる最低限の差は約0.42pt
    base, target_diff = 0.030, 0.0042
    print(f"今の設計(5,000人ずつ)で見つけられる確率: {power_of(base, target_diff, 5_000, 5_000):.0%}")
    print(f"今の設計で8割の確率で見つけられる最小の差: {mde(base, 5_000, 5_000)*100:.2f}pt")
    for ratio in (0.5, 0.2, 0.1):
        n_c, n_t = required_n(base, target_diff, ratio)
        print(f"対照群{ratio:.0%}のとき必要な人数: 対照群 {n_c:,}人 + 施策群 {n_t:,}人 = 合計 {n_c + n_t:,}人")
    
    # 検算:必要人数で1,000回テストして、本当に約8割で見つかるか
    rng = np.random.default_rng(0)
    n_c, n_t = required_n(base, target_diff, 0.5)
    hits = 0
    for _ in range(1_000):
        a, b = rng.binomial(n_c, base), rng.binomial(n_t, base + target_diff)
        pa, pb = a / n_c, b / n_t
        pp = (a + b) / (n_c + n_t)
        z = (pb - pa) / math.sqrt(pp * (1 - pp) * (1 / n_c + 1 / n_t))
        hits += 2 * stats.norm.sf(abs(z)) < ALPHA
    print(f"\n検算:{n_c:,}人ずつで1,000回テストしたとき、有意になった割合: {hits / 1_000:.1%}")

    実行結果

    今の設計(5,000人ずつ)で見つけられる確率: 22%
    今の設計で8割の確率で見つけられる最小の差: 0.96pt
    対照群50%のとき必要な人数: 対照群 27,648人 + 施策群 27,648人 = 合計 55,296人
    対照群20%のとき必要な人数: 対照群 17,536人 + 施策群 70,143人 = 合計 87,679人
    対照群10%のとき必要な人数: 対照群 15,661人 + 施策群 140,947人 = 合計 156,608人
    
    検算:27,648人ずつで1,000回テストしたとき、有意になった割合: 80.9%

    自社の施策で使うときは、base(ベースのCV率)と
    target_diff(見つけたい差)を書き換えてください。

    結果の読み方

    前回の設計では、8割近くの確率で見逃していた
    1群5,000人の設計では、0.42ptの差を見つけられる確率は22%でした。本当に元が取れる施策でも、約8割の確率で「有意差なし」になる設計だったということです。
    この人数で8割の確率で見つけられるのは、0.96ptより大きい差だけです。元が取れる最低限の差(0.42pt)の2倍以上なので、そもそも判断できない設計でした。

    必要な人数は、合計 約5.5万人
    対照群を50%にすると、対照群・施策群それぞれ約2.8万人、合計約5.5万人が必要です。前回の1万人の5倍以上です。

    対照群を小さくすると、合計人数は大きく増える

    • 対照群50%:合計 約5.5万人(配信するのは約2.8万人)

    • 対照群20%:合計 約8.8万人(配信するのは約7.0万人)

    • 対照群10%:合計 約15.7万人(配信するのは約14.1万人)

    本番の対象者が20万人いるなら、対照群10%でも判断できる人数を確保できます。20万人のうち2万人を対照群に残し、残りの18万人(全体の9割)に配信すれば、判断に必要な人数を満たしつつ、売上の機会損失も抑えられます。

    検算:本当に約8割で見つかる
    計算した人数で1,000回テストすると、80.9%で有意になりました。計算どおり、検出力は約8割です。

    人数が足りないときの5つの打ち手

    計算してみると、「そんなに配信できる人がいない」ということもよくあります。そのときの打ち手を紹介します。

    1. 複数回の配信を合算する
    同じ設計(同じ対照群の割合、同じ訴求)の配信を何回か続け、結果を合算して評価します。月1回の配信なら、数か月分をまとめて判断する設計にします。

    2. 見つけたい差を大きくする(施策を強くする)
    小さな改善を確かめようとするほど、人数は増えます。件名の細かい違いより、訴求内容やオファーを大きく変えたテストのほうが、少ない人数で判断できます。

    3. 対照群の割合を50%に近づける
    合計人数は、対照群50%のときにいちばん少なくなります。配信の機会損失を許容できるなら、対照群を増やすのが効率的です。

    4. より手前の指標で判断する
    購入(CV)よりクリックのほうが、発生件数が多いため少ない人数で差を見つけられます。ただし、クリックが増えても購入が増えるとは限りません。「クリックで改善案を絞り込み、最終的な効果は購入で確かめる」という使い分けがおすすめです。

    5. 判断を保留する勇気を持つ
    どうしても人数が足りない場合は、テストの前に「今回は判断できない可能性が高い」と関係者に伝えておきます。結果が出てから「有意差なし」で施策を打ち切るより、ずっと健全です。

    やってはいけない:途中で結果をのぞいて、有意になったら止める

    必要な人数を決めたら、その人数に達するまで判断しないことが大切です。

    よくあるのが、配信期間中に毎日結果を確認し、「有意になったので、今日でテストを終了します」とする進め方です。一見、効率的に見えますが、これをすると「差がないのに有意と判断する確率」が5%を大きく超えてしまいます。

    実際に試してみましょう。AとBのCV率がまったく同じ(3.0%)テストを、14日間、毎日のぞいた場合のシミュレーションです。

    import numpy as np
    from scipy import stats
    
    rng = np.random.default_rng(1)
    DAYS, PER_DAY, P = 14, 2_000, 0.03     # 14日間、1日あたり各群2,000人に配信、AもBもCV率3.0%(差なし)
    TRIALS = 2_000
    
    stopped_early = 0
    for _ in range(TRIALS):
        a = rng.binomial(PER_DAY, P, DAYS).cumsum()      # 日ごとの累計CV数
        b = rng.binomial(PER_DAY, P, DAYS).cumsum()
        n = PER_DAY * np.arange(1, DAYS + 1)               # 日ごとの累計配信数
        pooled = (a + b) / (2 * n)
        z = (b - a) / n / np.sqrt(pooled * (1 - pooled) * 2 / n)
        p = 2 * stats.norm.sf(np.abs(z))
        stopped_early += (p < 0.05).any()                  # 毎日のぞいて、一度でも有意なら「成功」と判断
    
    print(f"差がないのに『有意』と判断した割合(毎日のぞいた場合): {stopped_early / TRIALS:.1%}")
    差がないのに『有意』と判断した割合(毎日のぞいた場合): 21.8%

    差がまったくないのに、約5回に1回は「有意差あり」と判断してしまいました。最後に1回だけ判定すれば約5%で済むはずが、毎日のぞくことで約4倍に増えています。
    途中経過を見ること自体は問題ありません。配信エラーや大きなトラブルがないかを確認するのは大切です。問題なのは、途中経過で「成功・失敗」を判断して、テストを止めることです。

    どうしても途中で判断したい場合は、のぞく回数をあらかじめ決めて基準を厳しくする方法(逐次検定)もありますが、まずは「決めた人数に達するまで判断しない」を守るのが確実です。

    テストの前に「設計の宣言」をしておく

    必要な人数を計算したら、テストを始める前に、関係者へ次のような形で共有しておきましょう。結果が出てから基準を変える「後出し」を防げます。

    【テスト設計】

    • 目的:クーポン付きメール(B案)が、通常メール(A案)より利益を生むかを確かめる

    • 判断に使う指標:配信後14日間のCV率

    • 見つけたい差:0.42pt以上(クーポン費用を回収できる最低限の差)

    • 人数:対象者20万人のうち、2万人を対照群(A案)、18万人を施策群(B案)に、ランダムに分ける

    • 判断の時期:配信から14日後に1回だけ判定する。途中で止めない

    • 判断の基準:差の95%信頼区間とp値を確認し、差が0.42ptを上回るかで採用を判断する

    ここまで書いておけば、結果が出たあとの報告もスムーズです。第2回で紹介した「差・信頼区間・p値」と、第3回で紹介した「お金」の報告に、そのまま繋げることができます。

    まとめ

    • 人数が足りないテストは、始める前から「判断できない」と決まっている

    • 必要な人数は、有意水準・検出力・ベースCV率・見つけたい差・対照群の割合の5つで決まる

    • 見つけたい差には、第3回の「元が取れる最低限の差」を使う

    • 見つけたい差が半分になると、必要人数は約4倍になる

    • 人数が足りないときは、配信の合算、施策を強くする、対照群を増やすなどで対応する

    • 途中で結果をのぞいて止めると、偶然の「有意」が大きく増える

    今日から使えるテンプレート

    この記事のコードは、仕組みを理解するための簡易版です。テンプレ集の「テンプレ03:必要サンプル数とMDE」では、ベースCV率と改善幅の組み合わせごとの早見表を一度に出力します。売上や利用額のような「平均の差」を見つけたいときの必要人数も計算できます。

    • テンプレ03:必要な人数の早見表と、手持ちの人数で見つけられる最小の差

    • テンプレ04:テスト後に、増分売上とROIを信頼区間つきで算出

    • テンプレ01:差・信頼区間・p値と報告文を一括出力(記事内で全文無料公開)

    ▶コピペで実務に使えるPython×CRM効果検証テンプレート集

    あわせて読みたい

    この記事は、効果検証シリーズの第4回です。今回の「見つけたい差」の決め方は、前回の記事で解説しています。
    ▶その差に、意味はある?ビジネスで使える「効果の大きさ」の測り方

    「人数不足による見逃し」を1,000回の実験で確かめた記事はこちらです。
    ▶数式なしで分かるp値と信頼区間:CRM担当者のための統計超入門

    次回は、ここまでの内容を使って、架空のEC企業の施策を「設計→配信→検証→報告」まで通しで進めるケーススタディをお届けする予定です。

    効果検証の記事は、マガジンにまとめています。フォローしておくと、新しい記事が届きます。

    施策の効果検証や、分析環境構築についてのご相談も受け付けています。
    お気軽にコメントやメッセージでご連絡ください。


     
     
    大手代理店データアナリスト CRM・MAの施策企画から効果検証まで約6年。 「その施策、本当に効いた?」を数字で答えるための考え方とPythonテンプレートを発信しています。 統計が苦手なマーケターでもすぐに活用いただけます。

    あなたへのおすすめ