
No.01 その効果検証、本当に正しいと言い切れますか?反応者と未反応者を単純比較してはいけない理由
「メール反応者は、売上が1.6倍でした」
効果検証の報告で、こんな一文を見たことはありませんか。
今回のメールに反応したお客さまは、反応しなかったお客さまに比べて、期間中の売上が約1.6倍でした。メールの効果が確認できました。
一見、もっともらしい報告です。数字もはっきりしていて、上司も納得してくれそうです。
しかし、この比較からは「メールの効果」は分かりません。極端に言えば、メールにまったく効果がなくても、この報告は書けてしまいます。
この記事では、反応者と未反応者を比べてはいけない理由と、代わりにどう比べればいいのかを解説します。後半には、Google Colabで実際に確かめられるシミュレーションも載せています。
なぜ単純比較してはいけないのか
理由はシンプルです。メールに反応する人と、反応しない人は、そもそも性質が異なる可能性が高いからです。
メールを開いてリンクをクリックするのは、どんな人でしょうか。商品やサービスにもともと関心がある人、最近も購入している人、ブランドを気に入っている人たちと考えられます。こうした人は、メールが届かなくても買ってくれる可能性が高い人たちです。
つまり、反応者の売上が高いのは、次の2つが混ざった結果です。
メールを読んだことで、購入が増えた分(本当に知りたい効果)
もともと買う気があった人が、たまたまメールにも反応した分(見せかけの差)
反応者と未反応者を比べると、この2つを明確に区別できません。実務では、2の「見せかけの差」の方が大きい可能性が高いです。
これは統計の世界で自己選択バイアスと呼ばれる問題です。「比べる2つのグループを、本人の行動が決めてしまっている」ことが原因です。
身近な例で言えば、「スポーツジムの会員は、非会員より健康的だ。だからジムは健康に効く」と断言してしまうのと同じです。もともと健康な人がジムに入っているだけかもしれません。
Colabで確かめてみる
言葉だけでは実感しにくいので、架空のデータで試してみましょう。
設定は次のとおりです。
顧客10万人のうち、90%にメールを配信し、10%には配信しない(ホールドアウト)
メールに反応するかどうかも、売上の多さも、顧客の「もともとの関心度」で決まる
メールの本当の効果は、配信された人の売上を一律+100円増やすだけ
下のコードをGoogle Colabに貼って実行してみてください。
import numpy as np
import pandas as pd
rng = np.random.default_rng(0)
N = 100_000
interest = rng.normal(0, 1, N) # 顧客のもともとの関心度(実務では観測できない)
treat = rng.random(N) >= 0.10 # 90%に配信、10%はホールドアウト(配信しない)
# メールに反応するかどうかは、関心度で決まる
responded = treat & (rng.random(N) < 1 / (1 + np.exp(-(interest - 1.5))))
# 売上も関心度で決まる。メールの本当の効果は、配信された人に一律 +100円
true_effect = 100
revenue = np.maximum(0, 3_000 + 2_500 * interest + rng.normal(0, 2_000, N)) + true_effect * treat
df = pd.DataFrame({"treat": treat, "responded": responded, "revenue": revenue})
sent = df[df.treat]
print(f"反応者の平均売上 : {sent[sent.responded].revenue.mean():>7,.0f}円")
print(f"未反応者の平均売上 : {sent[~sent.responded].revenue.mean():>7,.0f}円")
print(f"→ 差 : {sent[sent.responded].revenue.mean() - sent[~sent.responded].revenue.mean():>+7,.0f}円 ← 反応者比較")
print(f"配信群の平均売上 : {df[df.treat].revenue.mean():>7,.0f}円")
print(f"非配信群の平均売上 : {df[~df.treat].revenue.mean():>7,.0f}円")
print(f"→ 差 : {df[df.treat].revenue.mean() - df[~df.treat].revenue.mean():>+7,.0f}円 ← ホールドアウト比較(本当の効果は+100円)")実行結果
反応者の平均売上 : 4,849円
未反応者の平均売上 : 2,977円
→ 差 : +1,872円 ← 反応者比較
配信群の平均売上 : 3,394円
非配信群の平均売上 : 3,325円
→ 差 : +69円 ← ホールドアウト比較(本当の効果は+100円)反応者比較では+1,872円、本当の効果の約19倍もの差が出ました。売上は約1.6倍です。冒頭の報告は、まさにこの数字です。
一方、配信した人と配信しなかった人を比べると、差は+69円。
本当の効果(+100円)に近い値です。
もう一つ気づいてほしいこと
ホールドアウト比較の+69円は、本当の効果の+100円とぴったりではありません。1行目の default_rng(0) の数字を1や2に変えて実行すると、
+119円や+128円になります。
これは偶然のばらつきです。そのため実務では、「+69円」と1つの数字で言い切るのではなく、「+10円〜+130円くらいの範囲」のように信頼区間をつけて報告します。
この計算をコピペでできるようにしたのが、テンプレ集の「テンプレ04:ホールドアウトによる増分売上・ROI」です。1人あたり売上の差だけでなく、増分売上の総額とROIまで、信頼区間つきで出力します。
「属性をそろえれば大丈夫」「前後で比べれば大丈夫」は本当?
反応者比較の問題を指摘すると、よく次のような反論が返ってきます。どちらも、残念ながら十分ではありません。
反論1:「年代や性別をそろえて比べれば、公平になるのでは?」
年代・性別・地域などをそろえても、「もともとの関心度」はそろいません。同じ40代女性でも、商品が大好きな人と、なんとなく会員登録しただけの人がいます。関心度はデータに直接は現れないため、属性をそろえても見せかけの差は残ります。
反論2:「反応者の配信前と配信後を比べれば、本人どうしの比較になるのでは?」
前後比較では、同じ時期に起きたほかの変化が混ざります。たとえば次のようなものです。
季節の変化(夏や年末は、メールに関係なく売上が伸びる)
同時期のセールや広告、競合の動き
平均への回帰(直前にたまたま売上が少なかった人は、何もしなくても元に戻りやすい)
特に「利用が増えた人」「最近購入した人」など、直前の行動で配信対象を選ぶ施策は、平均への回帰の影響を強く受けます。
正しい比べ方:ホールドアウトを残す
いちばん確実なのは、配信対象者の一部をランダムに選び、あえて配信しないことです。これをホールドアウト(対照群)と呼びます。
ランダムに分ければ、関心度の高い人も低い人も、両方のグループに同じ割合で入ります。違いは「メールを受け取ったかどうか」だけになるので、売上の差をそのまま施策の効果とみなせます。
手順は3ステップです
何人を残すか決める:ホールドアウトは配信対象の5〜10%が目安です。ただし、差を見分けるのに必要な人数は、CV率や狙う改善幅で大きく変わります。テンプレ03「必要サンプル数とMDE」で事前に確認しておくと安心です。
ランダムに分けて、リストを保存する:配信リストを作る段階で分けます。あとから分け直すと公平さが崩れるため、どの顧客がどちらに入ったかを必ずテーブルに残してください。
同じ期間で比べる:配信群と非配信群の売上やCV率を、同じ集計期間で比べます。CV率ならテンプレ01、売上とROIならテンプレ04がそのまま使えます。
SQLでランダムに分ける例です
(Redshift想定。テーブル名は置き換えてください)。
CREATE TABLE campaign_target_split AS
SELECT customer_id
,CASE WHEN RANDOM() < 0.10 THEN 'control' ELSE 'treat' END AS group_flag
FROM campaign_target;ホールドアウトが作れないときは
「全員に送るのが社内のルール」「すでに配信してしまった」という場合もあります。そのときの次善策が、差の差分析(DiD)です。
たとえば、配信対象外だった似た顧客層(別エリア、別の会員ランクなど)を用意し、配信群の「前後の差」から、対照層の「前後の差」を引きます。季節やセールのように、全員に共通する変化を差し引けます。
この計算も、テンプレ集の「テンプレ06:差の差分析」でコピペで実行できます。ただし、ランダムなホールドアウトより前提が多いため、「次回からはホールドアウトを残す」ことをセットで提案するのがおすすめです。
反応者分析は「無意味」ではない
ここまで読むと、反応者分析はやめるべきだと思うかもしれません。
しかし、使い道を間違えなければ、とても役に立つ分析です。
反応者分析で分かるのは「施策の効果」と言うより、「どんな人が反応したか」です。次のような目的には、寧ろ積極的に使えます。
反応した人の特徴(年代、購入履歴、利用頻度)から、次回の訴求や配信対象のヒントを得る
クリックされたリンクや時間帯から、本文の構成や配信時刻を改善する
反応しなかった層を見つけ、別の訴求でアプローチする
大切なのは、「反応者は〇〇な人が多かった」とは言っても、「メールのおかげで売上が増えた」とは断言しないことです。
反応者と未反応者の前後比較をしたいときは、テンプレ集の「テンプレ05:施策前後の比較」が使えます。配信日の直前・直後の値を顧客ごとに自動で結合し、差の検定まで行います。
報告で使える言い換え
すでに反応者比較で報告してしまった場合や、ホールドアウトがない場合は、言い方を変えるだけでも誤解を防げます。
✖ 「メールの効果で、反応者の売上が1.6倍になった」
〇「反応者は未反応者より売上が1.6倍だった。ただし、もともと購買意欲が 高い層が反応している可能性があり、メールの効果とは区別できない」
✖「配信後に売上が10%増えたので、施策は成功した」
〇「配信後に売上は10%増えたが、同時期の季節要因などを含む。効果の測定には次回ホールドアウトの設定を提案したい」
✖「統計的有意差がなかったので、効果はなかった」
〇「今回の人数では、差を見分けられる精度が足りなかった。効果の有無を判断するには、約〇人規模の検証が必要と考えられる」
効果検証の前に確認したい5つのチェック
比べている2つのグループは、ランダムに分けられているか
グループを、本人の行動(開封・クリック・申込)で分けていないか
比べる期間は、両グループで同じか
差を見分けるのに十分な人数がいるか
差の大きさを、信頼区間つきで報告しているか
1つでも「いいえ」があれば、その結果は施策の効果ではない可能性があります。
まとめ
反応者と未反応者は、もともと別の人たち。比べても「施策の効果」は分からない
属性をそろえても、前後で比べても、見せかけの差は残る
効果を測るには、配信しないホールドアウトをランダムに残すのがいちばん確実
ホールドアウトがなければ、似た層と比べる差の差分析(DiD)を使う
反応者分析は「どんな人が反応したか」を知るために使う
この記事の内容を、明日から使える形に
ホールドアウトの人数決めから、効果の判定、報告文の作成までをコピペで実行できるテンプレートを、9本セットにまとめています。
テンプレ03:ホールドアウトに何人残せばいいかを計算
テンプレ04:増分売上とROIを、信頼区間つきで算出
テンプレ06:ホールドアウトがないときの差の差分析
テンプレ01(CV率のA/B比較)は、記事内で全文を無料公開しています。まずはお試しください。
▶コピペで実務に使えるPython×CRM効果検証テンプレート集
次に読みたい記事
次回は「数式なしで分かるp値と信頼区間:CRM担当者のための統計超入門」です。この記事で出てきた「偶然のばらつき」や「信頼区間」を、メール施策の例だけで解説しています。
効果検証の記事は、マガジンにまとめていきます。
フォローしていただくと、新しい記事が届きます。
施策の効果検証や、分析環境構築についてのご相談も受け付けています。
お気軽にコメントやメッセージでご連絡ください。