メインコンテンツへスキップ
見出し画像

No.03 その差に、意味はある?ビジネスで使える「効果の大きさ」の測り方

    「有意差あり」で、本当に喜んでいいですか?

    前回の記事では、p値と信頼区間を使って「その差は偶然ではないか」を判断する方法を紹介しました。

    しかし、効果検証にはもう一つ大切な問いがあります。
    それは「その差は、ビジネスとして意味のある大きさか?」という問いです。
    たとえば、100万人に配信したA/Bテストで「B案のCV率が0.08pt高く、統計的に有意でした」という結果が出たとします。偶然ではない差が確認できたので、B案は成功でしょうか。
    答えは「それだけでは分からない」です。B案にクーポンなどの追加費用がかかるなら、0.08ptの改善では元が取れないかもしれません。

    この記事では、「ビジネス上意味のある差」を判断するための3つの物差しを紹介します。

    1. 相対リフト:何%改善したか

    2. 金額換算:いくら儲かったか、元は取れたか

    3. 統計の効果量:分野を問わず使える共通の物差し

    ※後半では、テスト結果を金額に換算するコードも紹介します。

    「統計的に有意」と「ビジネス上意味がある」は別物

    2つの言葉の違いを整理しておきます。

    • 統計的に有意:その差は、偶然のぶれだけでは説明しにくい

    • ビジネス上意味がある:その差は、施策を続ける価値がある大きさだ

    統計的に有意かどうかは、人数に大きく左右されます。配信数が多いと、ごく小さな差でも有意になります。逆に配信数が少ないと、大きな差でも有意になりません。
    そのため、結果は次の4パターンに分かれます。

    ◇迷わず判断できる2パターン
    1.統計的に有意 × 意味のある大きさ → 採用してよい
    2.有意差なし × 小さすぎる → 採用しない

    ◇注意が必要な2パターン
    3.統計的に有意 × 小さすぎる → 偶然ではないが、採用の価値は低い
    4.有意差なし × 意味のある大きさ → 判断保留。人数を増やして再検証

    多くの現場では1と2だけで判断しがちです。注意したいのは、3と4です。

    • 3は大規模配信で起きやすいパターンです。「有意だから成功」と報告すると、費用倒れの施策を続けることになります。

    • 4は小規模テストで起きやすいパターンです。「有意差なしだから失敗」と報告すると、本当は儲かる施策を捨てることになります。

    この2つを見分けるには、「どのくらいの差なら意味があるか」をあらかじめ決めておく必要があります。そのための物差しを、順番に見ていきましょう。

    物差し1:相対リフト「何%改善したか」

    差の表し方には、2種類あります。

    • 絶対差(pt):CV率3.0%が3.6%になったら、差は0.6pt

    • 相対リフト(%):3.0%が3.6%になったら、改善率は20%(0.6 ÷ 3.0)

    相対リフトは、施策の「伸びしろ」を直感的に伝えられる便利な物差しです。「CV率が20%改善した」と言えば、経営層にもすぐに伝わります。ベースの数値が違う施策どうしでも比べやすくなります。
    ただし、相対リフトだけを報告すると誤解を招くことがあります。

    • ベースのCV率が0.1%なら、0.02ptの改善でも「20%改善」になる

    • 対象者が少ない施策では、改善率が大きくても、増える件数はわずか

    そこで、報告では必ず次の3つを並べて書きます。

    CV率は3.0%から3.6%に0.6pt上昇し、相対リフトは+20%。
    本番配信の20万人に当てはめると、CVは約1,200件の増加が見込まれる。

    絶対差・相対リフト・件数の3つがそろうと、「どのくらいの改善か」と「どのくらいのインパクトか」の両方が伝わります。

    そして件数が出たら、あと一歩で金額に換算できます。それが次の物差しです。

    絶対差・相対リフト・件数の3つがそろうと、「どのくらいの改善か」と「どのくらいのインパクトか」の両方が伝わります。
    そして件数が出たら、あと一歩で金額に換算できます。それが次の物差しです。

    物差し2:金額換算「元は取れたか」

    ビジネス上意味があるかどうかを、いちばんはっきり判断できるのが金額です。計算は3ステップです。

    1. 増分CV数:差(pt)× 本番の配信人数

    2. 増分粗利:増分CV数 × 平均購入単価 × 粗利率

    3. 利益:増分粗利 − 施策の追加費用(クーポン原資、制作費など)

    さらに、この計算を逆にたどると、元が取れる最低限の差(損益分岐の差)が分かります。

    元が取れる最低限の差 = 施策の追加費用 ÷(本番の配信人数 × 平均購入単価 × 粗利率)

    これが「ビジネス上意味のある差」の、いちばん実務的な定義です。テストの前にこの数字を決めておけば、結果が出たときに迷いません。

    Colabで計算してみる

    テスト結果を入れると、相対リフト・増分CV数・利益(信頼区間つき)・損益分岐の差・統計の効果量をまとめて出すコードです。

    2つのケースを用意しました。どちらも、B案は通常のメールにクーポンを付けた案で、クーポン原資が追加費用になります。

    • ケース1:50万人ずつの大規模テスト。本番は100万人に配信予定

    • ケース2:5,000人ずつの小規模テスト。本番は20万人に配信予定(前回記事の例と同じ数字)

    import math
    from scipy import stats
    
    def business_impact(name, cv_a, n_a, cv_b, n_b, target, aov, margin, cost):
        """テスト結果を、本番配信したときの『お金』に換算する"""
        p_a, p_b = cv_a / n_a, cv_b / n_b
        diff = p_b - p_a
        se = math.sqrt(p_a * (1 - p_a) / n_a + p_b * (1 - p_b) / n_b)
        lo, hi = diff - 1.96 * se, diff + 1.96 * se
        pooled = (cv_a + cv_b) / (n_a + n_b)
        p_value = 2 * stats.norm.sf(abs(diff) / math.sqrt(pooled * (1 - pooled) * (1 / n_a + 1 / n_b)))
    
        profit_per_cv = aov * margin                       # 1件のCVで増える粗利
        gain = lambda d: d * target * profit_per_cv - cost  # 差 d のときの利益(粗利 − 費用)
        breakeven = cost / (target * profit_per_cv)         # 元が取れる最低限の差
        h = 2 * (math.asin(math.sqrt(p_b)) - math.asin(math.sqrt(p_a)))   # Cohen's h
    
        print(f"===== {name} =====")
        print(f"CV率: A {p_a:.2%} → B {p_b:.2%}(差 {diff*100:+.2f}pt, 95%CI {lo*100:+.2f}〜{hi*100:+.2f}pt, p={p_value:.3f})")
        print(f"相対リフト: {p_b / p_a - 1:+.1%}")
        print(f"本番{target:,}人に配信したときの増分CV: 約{diff * target:,.0f}件")
        print(f"利益(粗利 − 費用{cost/1e4:,.0f}万円): {gain(diff)/1e4:+,.0f}万円(95%CI {gain(lo)/1e4:+,.0f}〜{gain(hi)/1e4:+,.0f}万円)")
        print(f"元が取れる最低限の差: {breakeven*100:.3f}pt(相対リフト {breakeven / p_a:.1%})")
        print(f"Cohen's h: {h:.3f}\n")
    
    # ケース1:大規模テストで「有意」だった
    business_impact("ケース1:有意だが、元が取れない", cv_a=10_000, n_a=500_000, cv_b=10_400, n_b=500_000,
                    target=1_000_000, aov=4_000, margin=0.30, cost=1_500_000)
    
    # ケース2:小規模テストで「有意差なし」だった
    business_impact("ケース2:有意差なしだが、元が取れる可能性", cv_a=150, n_a=5_000, cv_b=180, n_b=5_000,
                    target=200_000, aov=4_000, margin=0.30, cost=1_000_000)

    実行結果

    ===== ケース1:有意だが、元が取れない =====
    CV率: A 2.00% → B 2.08%(差 +0.08pt, 95%CI +0.02〜+0.14pt, p=0.005)
    相対リフト: +4.0%
    本番1,000,000人に配信したときの増分CV: 約800件
    利益(粗利 − 費用150万円): -54万円(95%CI -120〜+12万円)
    元が取れる最低限の差: 0.125pt(相対リフト 6.2%)
    Cohen's h: 0.006
    
    ===== ケース2:有意差なしだが、元が取れる可能性 =====
    CV率: A 3.00% → B 3.60%(差 +0.60pt, 95%CI -0.10〜+1.30pt, p=0.093)
    相対リフト: +20.0%
    本番200,000人に配信したときの増分CV: 約1,200件
    利益(粗利 − 費用100万円): +44万円(95%CI -124〜+212万円)
    元が取れる最低限の差: 0.417pt(相対リフト 13.9%)
    Cohen's h: 0.034

    自社の数字で試すときは、最後の2つの呼び出しの数字(CV数、人数、本番の配信人数、平均購入単価、粗利率、費用)を書き換えてください。

    2つのケースの読み方

    ケース1:有意だが、元が取れない

    p値は0.005で、文句なしに「統計的に有意」です。しかし、差は0.08ptで、元が取れる最低限の差(0.125pt)に届いていません。本番で100万人に配信すると、利益は約54万円のマイナスになる見込みです。

    信頼区間を見ると、利益は最大でも+12万円程度で、ほとんどの範囲が赤字です。「有意だったのでB案を採用」と報告していたら、毎回お金を失う施策を続けることになっていました。
    この場合の打ち手は、「クーポンの金額を下げる」「クーポンへの反応が高い層だけに絞る」など、費用を下げて損益分岐の差を小さくすることです。

    ケース2:有意差なしだが、元が取れる可能性がある
    p値は0.093で、「有意差なし」です。しかし、差の推定値は0.60ptで、元が取れる最低限の差(0.417pt)を上回っています。そのまま本番に当てはめると、利益は約44万円のプラスです。
    ただし、信頼区間は−124万円〜+212万円と非常に広く、大きく儲かる可能性も、赤字になる可能性もあります。今回の人数では、どちらとも言えません。
    この場合に「有意差なしなので不採用」とするのは早すぎます。正しい打ち手は、人数を増やして再検証することです。では、何人いれば判断できるのか。それを計算するのが、次回のテーマ「必要サンプル数」です。

    2つのケースから分かること

    • p値だけを見ると、ケース1は「成功」、ケース2は「失敗」に見える

    • 金額で見ると、ケース1は「赤字の見込み」、ケース2は「黒字の可能性があるが判断保留」

    • 判断の分かれ目は、「元が取れる最低限の差」をあらかじめ決めておくかどうか

    物差し3:統計の効果量「分野を問わない共通の物差し」

    統計の世界には、差の大きさを表す「効果量」という指標があります。単位に左右されないため、売上の差と年齢の差のように、まったく違う指標どうしでも大きさを比べられるのが特徴です。

    CRMの効果検証でよく使うのは、次の2つです。
    Cohen's d:平均の差を比べるとき
    例:1人あたり売上、利用回数、年齢

    Cohen's h:率の差を比べるとき
    例:CV率、開封率、継続率

    大きさの目安として、よく次の基準が使われます。
    ・0.2未満:ごく小さい
    ・0.2以上:小さい
    ・0.5以上:中くらい
    ・0.8以上:大きい

    CRMで使うときの注意:CV率が低いと「ごく小さい」になりがち

    先ほどのケース2をもう一度見てください。相対リフトは+20%で、元が取れる可能性もある結果でした。しかし、Cohen's hは0.034で、目安の表では「ごく小さい」に入ります。

    これは、CV率が数%以下の施策では、改善の絶対値(pt)がもともと小さいためです。メールやPush施策の多くは、目安の表に当てはめると「ごく小さい効果」になってしまいます。

    そのため、CRMの施策評価では次のように使い分けるのがおすすめです。

    • 施策を続けるかどうかの判断:相対リフトと金額換算を使う

    • 顧客属性の違いの大きさ:効果量を使う
      (例:クリックした人は、しなかった人より年齢が高いか)

    • 必要サンプル数の計算:裏側で効果量を使う
      (次回の記事で解説)

    特に2つ目の使い方は便利です。配信数が多いと、年齢や世帯人数の差はほぼ必ず「有意」になります。効果量を見れば、「有意だけれど、属性で絞り込むほどの差ではない」と判断できます。

    報告での使い方

    前回の記事では、「差・信頼区間・p値」をセットで書くことを紹介しました。今回はそこに「お金」を加えます。

    テストの前に決めておくこと

    1. 本番で何人に配信するか

    2. 平均購入単価と粗利率

    3. 施策の追加費用

    4. そこから計算した「元が取れる最低限の差」

    報告文の例(ケース1)

    B案のCV率は2.08%で、A案より0.08pt(相対+4.0%)高く、統計的にも有意でした(p=0.005)。ただし、元が取れる最低限の差は0.125ptで、今回の改善幅では届いていません。本番配信した場合の利益は約−54万円と見込まれるため、クーポン金額を見直したうえで再テストすることを提案します。

    報告文の例(ケース2)

    B案のCV率は3.60%で、A案より0.60pt(相対+20%)高い結果でしたが、統計的な有意差はありませんでした(p=0.09)。改善幅の推定値は損益分岐の0.42ptを上回っており、本番配信で約+44万円の利益が見込まれる一方、赤字の可能性も残ります。判断に必要な人数を確保して、再検証することを提案します。

    どちらの例も、「採用・不採用」だけでなく「次に何をするか」まで書いているのがポイントです。

    まとめ

    • 「統計的に有意」と「ビジネス上意味がある」は別物
      人数が多ければ小さな差でも有意になり、少なければ大きな差でも有意にならない

    • 相対リフトは伝わりやすいが、絶対差(pt)と件数を必ず並べて書く

    • いちばん実務的な判断基準は、金額換算と「元が取れる最低限の差」

    • 統計の効果量は、CV率の低い施策では「ごく小さい」になりがち
      施策の判断より、属性の違いの大きさを見るときに使う

    • 報告では「差・信頼区間・p値」に「お金」と「次の打ち手」を加える

    今日から使えるテンプレート

    今回の考え方は、テンプレ集でそのまま実行できます。

    • テンプレ04:ホールドアウトとの比較から、増分売上とROIを信頼区間つきで算出

    • テンプレ01:相対リフト・差・信頼区間・効果量と報告文を一括出力(記事内で全文無料公開)

    • テンプレ03:「元が取れる最低限の差」を見つけるのに必要な人数を計算

    この記事のコードは、仕組みを理解するための簡易版です。テンプレ04では、顧客ごとのCSVを読み込むだけで、増分売上とROIを信頼区間つきで算出し、報告文まで出力します。

    ▶コピペで実務に使えるPython×CRM効果検証テンプレート集

    あわせて読みたい

    前回は、p値と信頼区間の意味を、同じテストを1,000回繰り返す実験で解説しました。今回のケース2と同じ数字を使っているので、続けて読むと理解が深まります。

    ▶数式なしで分かるp値と信頼区間:CRM担当者のための統計超入門

    次回は「配信数が足りないとA/Bテストは無意味になる?:必要サンプル数の決め方」です。今回決めた「元が取れる最低限の差」を見逃さないために、何人に配信すればよいかを計算します。

    効果検証の記事は、マガジンにまとめています。フォローしておくと、新しい記事が届きます。

    施策の効果検証や、分析環境構築についてのご相談も受け付けています。お気軽にコメントやメッセージでご連絡ください。

     
     
    大手代理店データアナリスト CRM・MAの施策企画から効果検証まで約6年。 「その施策、本当に効いた?」を数字で答えるための考え方とPythonテンプレートを発信しています。 統計が苦手なマーケターでもすぐに活用いただけます。

    あなたへのおすすめ