
No.03 その差に、意味はある?ビジネスで使える「効果の大きさ」の測り方
「有意差あり」で、本当に喜んでいいですか?
前回の記事では、p値と信頼区間を使って「その差は偶然ではないか」を判断する方法を紹介しました。
しかし、効果検証にはもう一つ大切な問いがあります。
それは「その差は、ビジネスとして意味のある大きさか?」という問いです。
たとえば、100万人に配信したA/Bテストで「B案のCV率が0.08pt高く、統計的に有意でした」という結果が出たとします。偶然ではない差が確認できたので、B案は成功でしょうか。
答えは「それだけでは分からない」です。B案にクーポンなどの追加費用がかかるなら、0.08ptの改善では元が取れないかもしれません。
この記事では、「ビジネス上意味のある差」を判断するための3つの物差しを紹介します。
相対リフト:何%改善したか
金額換算:いくら儲かったか、元は取れたか
統計の効果量:分野を問わず使える共通の物差し
※後半では、テスト結果を金額に換算するコードも紹介します。
「統計的に有意」と「ビジネス上意味がある」は別物
2つの言葉の違いを整理しておきます。
統計的に有意:その差は、偶然のぶれだけでは説明しにくい
ビジネス上意味がある:その差は、施策を続ける価値がある大きさだ
統計的に有意かどうかは、人数に大きく左右されます。配信数が多いと、ごく小さな差でも有意になります。逆に配信数が少ないと、大きな差でも有意になりません。
そのため、結果は次の4パターンに分かれます。
◇迷わず判断できる2パターン
1.統計的に有意 × 意味のある大きさ → 採用してよい
2.有意差なし × 小さすぎる → 採用しない
◇注意が必要な2パターン
3.統計的に有意 × 小さすぎる → 偶然ではないが、採用の価値は低い
4.有意差なし × 意味のある大きさ → 判断保留。人数を増やして再検証
多くの現場では1と2だけで判断しがちです。注意したいのは、3と4です。
3は大規模配信で起きやすいパターンです。「有意だから成功」と報告すると、費用倒れの施策を続けることになります。
4は小規模テストで起きやすいパターンです。「有意差なしだから失敗」と報告すると、本当は儲かる施策を捨てることになります。
この2つを見分けるには、「どのくらいの差なら意味があるか」をあらかじめ決めておく必要があります。そのための物差しを、順番に見ていきましょう。
物差し1:相対リフト「何%改善したか」
差の表し方には、2種類あります。
絶対差(pt):CV率3.0%が3.6%になったら、差は0.6pt
相対リフト(%):3.0%が3.6%になったら、改善率は20%(0.6 ÷ 3.0)
相対リフトは、施策の「伸びしろ」を直感的に伝えられる便利な物差しです。「CV率が20%改善した」と言えば、経営層にもすぐに伝わります。ベースの数値が違う施策どうしでも比べやすくなります。
ただし、相対リフトだけを報告すると誤解を招くことがあります。
ベースのCV率が0.1%なら、0.02ptの改善でも「20%改善」になる
対象者が少ない施策では、改善率が大きくても、増える件数はわずか
そこで、報告では必ず次の3つを並べて書きます。
CV率は3.0%から3.6%に0.6pt上昇し、相対リフトは+20%。
本番配信の20万人に当てはめると、CVは約1,200件の増加が見込まれる。
絶対差・相対リフト・件数の3つがそろうと、「どのくらいの改善か」と「どのくらいのインパクトか」の両方が伝わります。
そして件数が出たら、あと一歩で金額に換算できます。それが次の物差しです。
絶対差・相対リフト・件数の3つがそろうと、「どのくらいの改善か」と「どのくらいのインパクトか」の両方が伝わります。
そして件数が出たら、あと一歩で金額に換算できます。それが次の物差しです。
物差し2:金額換算「元は取れたか」
ビジネス上意味があるかどうかを、いちばんはっきり判断できるのが金額です。計算は3ステップです。
増分CV数:差(pt)× 本番の配信人数
増分粗利:増分CV数 × 平均購入単価 × 粗利率
利益:増分粗利 − 施策の追加費用(クーポン原資、制作費など)
さらに、この計算を逆にたどると、元が取れる最低限の差(損益分岐の差)が分かります。
元が取れる最低限の差 = 施策の追加費用 ÷(本番の配信人数 × 平均購入単価 × 粗利率)
これが「ビジネス上意味のある差」の、いちばん実務的な定義です。テストの前にこの数字を決めておけば、結果が出たときに迷いません。
Colabで計算してみる
テスト結果を入れると、相対リフト・増分CV数・利益(信頼区間つき)・損益分岐の差・統計の効果量をまとめて出すコードです。
2つのケースを用意しました。どちらも、B案は通常のメールにクーポンを付けた案で、クーポン原資が追加費用になります。
ケース1:50万人ずつの大規模テスト。本番は100万人に配信予定
ケース2:5,000人ずつの小規模テスト。本番は20万人に配信予定(前回記事の例と同じ数字)
import math
from scipy import stats
def business_impact(name, cv_a, n_a, cv_b, n_b, target, aov, margin, cost):
"""テスト結果を、本番配信したときの『お金』に換算する"""
p_a, p_b = cv_a / n_a, cv_b / n_b
diff = p_b - p_a
se = math.sqrt(p_a * (1 - p_a) / n_a + p_b * (1 - p_b) / n_b)
lo, hi = diff - 1.96 * se, diff + 1.96 * se
pooled = (cv_a + cv_b) / (n_a + n_b)
p_value = 2 * stats.norm.sf(abs(diff) / math.sqrt(pooled * (1 - pooled) * (1 / n_a + 1 / n_b)))
profit_per_cv = aov * margin # 1件のCVで増える粗利
gain = lambda d: d * target * profit_per_cv - cost # 差 d のときの利益(粗利 − 費用)
breakeven = cost / (target * profit_per_cv) # 元が取れる最低限の差
h = 2 * (math.asin(math.sqrt(p_b)) - math.asin(math.sqrt(p_a))) # Cohen's h
print(f"===== {name} =====")
print(f"CV率: A {p_a:.2%} → B {p_b:.2%}(差 {diff*100:+.2f}pt, 95%CI {lo*100:+.2f}〜{hi*100:+.2f}pt, p={p_value:.3f})")
print(f"相対リフト: {p_b / p_a - 1:+.1%}")
print(f"本番{target:,}人に配信したときの増分CV: 約{diff * target:,.0f}件")
print(f"利益(粗利 − 費用{cost/1e4:,.0f}万円): {gain(diff)/1e4:+,.0f}万円(95%CI {gain(lo)/1e4:+,.0f}〜{gain(hi)/1e4:+,.0f}万円)")
print(f"元が取れる最低限の差: {breakeven*100:.3f}pt(相対リフト {breakeven / p_a:.1%})")
print(f"Cohen's h: {h:.3f}\n")
# ケース1:大規模テストで「有意」だった
business_impact("ケース1:有意だが、元が取れない", cv_a=10_000, n_a=500_000, cv_b=10_400, n_b=500_000,
target=1_000_000, aov=4_000, margin=0.30, cost=1_500_000)
# ケース2:小規模テストで「有意差なし」だった
business_impact("ケース2:有意差なしだが、元が取れる可能性", cv_a=150, n_a=5_000, cv_b=180, n_b=5_000,
target=200_000, aov=4_000, margin=0.30, cost=1_000_000)実行結果
===== ケース1:有意だが、元が取れない =====
CV率: A 2.00% → B 2.08%(差 +0.08pt, 95%CI +0.02〜+0.14pt, p=0.005)
相対リフト: +4.0%
本番1,000,000人に配信したときの増分CV: 約800件
利益(粗利 − 費用150万円): -54万円(95%CI -120〜+12万円)
元が取れる最低限の差: 0.125pt(相対リフト 6.2%)
Cohen's h: 0.006
===== ケース2:有意差なしだが、元が取れる可能性 =====
CV率: A 3.00% → B 3.60%(差 +0.60pt, 95%CI -0.10〜+1.30pt, p=0.093)
相対リフト: +20.0%
本番200,000人に配信したときの増分CV: 約1,200件
利益(粗利 − 費用100万円): +44万円(95%CI -124〜+212万円)
元が取れる最低限の差: 0.417pt(相対リフト 13.9%)
Cohen's h: 0.034自社の数字で試すときは、最後の2つの呼び出しの数字(CV数、人数、本番の配信人数、平均購入単価、粗利率、費用)を書き換えてください。
2つのケースの読み方
ケース1:有意だが、元が取れない
p値は0.005で、文句なしに「統計的に有意」です。しかし、差は0.08ptで、元が取れる最低限の差(0.125pt)に届いていません。本番で100万人に配信すると、利益は約54万円のマイナスになる見込みです。
信頼区間を見ると、利益は最大でも+12万円程度で、ほとんどの範囲が赤字です。「有意だったのでB案を採用」と報告していたら、毎回お金を失う施策を続けることになっていました。
この場合の打ち手は、「クーポンの金額を下げる」「クーポンへの反応が高い層だけに絞る」など、費用を下げて損益分岐の差を小さくすることです。
ケース2:有意差なしだが、元が取れる可能性がある
p値は0.093で、「有意差なし」です。しかし、差の推定値は0.60ptで、元が取れる最低限の差(0.417pt)を上回っています。そのまま本番に当てはめると、利益は約44万円のプラスです。
ただし、信頼区間は−124万円〜+212万円と非常に広く、大きく儲かる可能性も、赤字になる可能性もあります。今回の人数では、どちらとも言えません。
この場合に「有意差なしなので不採用」とするのは早すぎます。正しい打ち手は、人数を増やして再検証することです。では、何人いれば判断できるのか。それを計算するのが、次回のテーマ「必要サンプル数」です。
2つのケースから分かること
p値だけを見ると、ケース1は「成功」、ケース2は「失敗」に見える
金額で見ると、ケース1は「赤字の見込み」、ケース2は「黒字の可能性があるが判断保留」
判断の分かれ目は、「元が取れる最低限の差」をあらかじめ決めておくかどうか
物差し3:統計の効果量「分野を問わない共通の物差し」
統計の世界には、差の大きさを表す「効果量」という指標があります。単位に左右されないため、売上の差と年齢の差のように、まったく違う指標どうしでも大きさを比べられるのが特徴です。
CRMの効果検証でよく使うのは、次の2つです。
Cohen's d:平均の差を比べるとき
例:1人あたり売上、利用回数、年齢
Cohen's h:率の差を比べるとき
例:CV率、開封率、継続率
大きさの目安として、よく次の基準が使われます。
・0.2未満:ごく小さい
・0.2以上:小さい
・0.5以上:中くらい
・0.8以上:大きい
CRMで使うときの注意:CV率が低いと「ごく小さい」になりがち
先ほどのケース2をもう一度見てください。相対リフトは+20%で、元が取れる可能性もある結果でした。しかし、Cohen's hは0.034で、目安の表では「ごく小さい」に入ります。
これは、CV率が数%以下の施策では、改善の絶対値(pt)がもともと小さいためです。メールやPush施策の多くは、目安の表に当てはめると「ごく小さい効果」になってしまいます。
そのため、CRMの施策評価では次のように使い分けるのがおすすめです。
施策を続けるかどうかの判断:相対リフトと金額換算を使う
顧客属性の違いの大きさ:効果量を使う
(例:クリックした人は、しなかった人より年齢が高いか)必要サンプル数の計算:裏側で効果量を使う
(次回の記事で解説)
特に2つ目の使い方は便利です。配信数が多いと、年齢や世帯人数の差はほぼ必ず「有意」になります。効果量を見れば、「有意だけれど、属性で絞り込むほどの差ではない」と判断できます。
報告での使い方
前回の記事では、「差・信頼区間・p値」をセットで書くことを紹介しました。今回はそこに「お金」を加えます。
テストの前に決めておくこと
本番で何人に配信するか
平均購入単価と粗利率
施策の追加費用
そこから計算した「元が取れる最低限の差」
報告文の例(ケース1)
B案のCV率は2.08%で、A案より0.08pt(相対+4.0%)高く、統計的にも有意でした(p=0.005)。ただし、元が取れる最低限の差は0.125ptで、今回の改善幅では届いていません。本番配信した場合の利益は約−54万円と見込まれるため、クーポン金額を見直したうえで再テストすることを提案します。
報告文の例(ケース2)
B案のCV率は3.60%で、A案より0.60pt(相対+20%)高い結果でしたが、統計的な有意差はありませんでした(p=0.09)。改善幅の推定値は損益分岐の0.42ptを上回っており、本番配信で約+44万円の利益が見込まれる一方、赤字の可能性も残ります。判断に必要な人数を確保して、再検証することを提案します。
どちらの例も、「採用・不採用」だけでなく「次に何をするか」まで書いているのがポイントです。
まとめ
「統計的に有意」と「ビジネス上意味がある」は別物
人数が多ければ小さな差でも有意になり、少なければ大きな差でも有意にならない相対リフトは伝わりやすいが、絶対差(pt)と件数を必ず並べて書く
いちばん実務的な判断基準は、金額換算と「元が取れる最低限の差」
統計の効果量は、CV率の低い施策では「ごく小さい」になりがち
施策の判断より、属性の違いの大きさを見るときに使う報告では「差・信頼区間・p値」に「お金」と「次の打ち手」を加える
今日から使えるテンプレート
今回の考え方は、テンプレ集でそのまま実行できます。
テンプレ04:ホールドアウトとの比較から、増分売上とROIを信頼区間つきで算出
テンプレ01:相対リフト・差・信頼区間・効果量と報告文を一括出力(記事内で全文無料公開)
テンプレ03:「元が取れる最低限の差」を見つけるのに必要な人数を計算
この記事のコードは、仕組みを理解するための簡易版です。テンプレ04では、顧客ごとのCSVを読み込むだけで、増分売上とROIを信頼区間つきで算出し、報告文まで出力します。
▶コピペで実務に使えるPython×CRM効果検証テンプレート集
あわせて読みたい
前回は、p値と信頼区間の意味を、同じテストを1,000回繰り返す実験で解説しました。今回のケース2と同じ数字を使っているので、続けて読むと理解が深まります。
▶数式なしで分かるp値と信頼区間:CRM担当者のための統計超入門
次回は「配信数が足りないとA/Bテストは無意味になる?:必要サンプル数の決め方」です。今回決めた「元が取れる最低限の差」を見逃さないために、何人に配信すればよいかを計算します。
効果検証の記事は、マガジンにまとめています。フォローしておくと、新しい記事が届きます。
施策の効果検証や、分析環境構築についてのご相談も受け付けています。お気軽にコメントやメッセージでご連絡ください。