メインコンテンツへスキップ
見出し画像

No.01 その効果検証、本当に正しいと言い切れますか?反応者と未反応者を単純比較してはいけない理由

    「メール反応者は、売上が1.6倍でした」

    効果検証の報告で、こんな一文を見たことはありませんか。

    今回のメールに反応したお客さまは、反応しなかったお客さまに比べて、期間中の売上が約1.6倍でした。メールの効果が確認できました。

    一見、もっともらしい報告です。数字もはっきりしていて、上司も納得してくれそうです。

    しかし、この比較からは「メールの効果」は分かりません。極端に言えば、メールにまったく効果がなくても、この報告は書けてしまいます。

    この記事では、反応者と未反応者を比べてはいけない理由と、代わりにどう比べればいいのかを解説します。後半には、Google Colabで実際に確かめられるシミュレーションも載せています。

    なぜ単純比較してはいけないのか

    理由はシンプルです。メールに反応する人と、反応しない人は、そもそも性質が異なる可能性が高いからです。

    メールを開いてリンクをクリックするのは、どんな人でしょうか。商品やサービスにもともと関心がある人、最近も購入している人、ブランドを気に入っている人たちと考えられます。こうした人は、メールが届かなくても買ってくれる可能性が高い人たちです。

    つまり、反応者の売上が高いのは、次の2つが混ざった結果です。

    1. メールを読んだことで、購入が増えた分(本当に知りたい効果)

    2. もともと買う気があった人が、たまたまメールにも反応した分(見せかけの差)

    反応者と未反応者を比べると、この2つを明確に区別できません。実務では、2の「見せかけの差」の方が大きい可能性が高いです。

    これは統計の世界で自己選択バイアスと呼ばれる問題です。「比べる2つのグループを、本人の行動が決めてしまっている」ことが原因です。

    身近な例で言えば、「スポーツジムの会員は、非会員より健康的だ。だからジムは健康に効く」と断言してしまうのと同じです。もともと健康な人がジムに入っているだけかもしれません。

    Colabで確かめてみる

    言葉だけでは実感しにくいので、架空のデータで試してみましょう。
    設定は次のとおりです。

    • 顧客10万人のうち、90%にメールを配信し、10%には配信しない(ホールドアウト)

    • メールに反応するかどうかも、売上の多さも、顧客の「もともとの関心度」で決まる

    • メールの本当の効果は、配信された人の売上を一律+100円増やすだけ

    下のコードをGoogle Colabに貼って実行してみてください。

    import numpy as np
    import pandas as pd
    
    rng = np.random.default_rng(0)
    N = 100_000
    interest = rng.normal(0, 1, N)                       # 顧客のもともとの関心度(実務では観測できない)
    treat = rng.random(N) >= 0.10                        # 90%に配信、10%はホールドアウト(配信しない)
    
    # メールに反応するかどうかは、関心度で決まる
    responded = treat & (rng.random(N) < 1 / (1 + np.exp(-(interest - 1.5))))
    
    # 売上も関心度で決まる。メールの本当の効果は、配信された人に一律 +100円
    true_effect = 100
    revenue = np.maximum(0, 3_000 + 2_500 * interest + rng.normal(0, 2_000, N)) + true_effect * treat
    
    df = pd.DataFrame({"treat": treat, "responded": responded, "revenue": revenue})
    sent = df[df.treat]
    print(f"反応者の平均売上    : {sent[sent.responded].revenue.mean():>7,.0f}円")
    print(f"未反応者の平均売上  : {sent[~sent.responded].revenue.mean():>7,.0f}円")
    print(f"→ 差               : {sent[sent.responded].revenue.mean() - sent[~sent.responded].revenue.mean():>+7,.0f}円  ← 反応者比較")
    print(f"配信群の平均売上    : {df[df.treat].revenue.mean():>7,.0f}円")
    print(f"非配信群の平均売上  : {df[~df.treat].revenue.mean():>7,.0f}円")
    print(f"→ 差               : {df[df.treat].revenue.mean() - df[~df.treat].revenue.mean():>+7,.0f}円  ← ホールドアウト比較(本当の効果は+100円)")

    実行結果

    反応者の平均売上    :   4,849円
    未反応者の平均売上  :   2,977円
    → 差               :  +1,872円  ← 反応者比較
    配信群の平均売上    :   3,394円
    非配信群の平均売上  :   3,325円
    → 差               :     +69円  ← ホールドアウト比較(本当の効果は+100円)

    反応者比較では+1,872円、本当の効果の約19倍もの差が出ました。売上は約1.6倍です。冒頭の報告は、まさにこの数字です。
    一方、配信した人と配信しなかった人を比べると、差は+69円。
    本当の効果(+100円)に近い値です。

    もう一つ気づいてほしいこと

    ホールドアウト比較の+69円は、本当の効果の+100円とぴったりではありません。1行目の default_rng(0) の数字を1や2に変えて実行すると、
    +119円や+128円になります。

    これは偶然のばらつきです。そのため実務では、「+69円」と1つの数字で言い切るのではなく、「+10円〜+130円くらいの範囲」のように信頼区間をつけて報告します。

    この計算をコピペでできるようにしたのが、テンプレ集の「テンプレ04:ホールドアウトによる増分売上・ROI」です。1人あたり売上の差だけでなく、増分売上の総額とROIまで、信頼区間つきで出力します。

    「属性をそろえれば大丈夫」「前後で比べれば大丈夫」は本当?

    反応者比較の問題を指摘すると、よく次のような反論が返ってきます。どちらも、残念ながら十分ではありません。

    反論1:「年代や性別をそろえて比べれば、公平になるのでは?」
    年代・性別・地域などをそろえても、「もともとの関心度」はそろいません。同じ40代女性でも、商品が大好きな人と、なんとなく会員登録しただけの人がいます。関心度はデータに直接は現れないため、属性をそろえても見せかけの差は残ります。

    反論2:「反応者の配信前と配信後を比べれば、本人どうしの比較になるのでは?」
    前後比較では、同じ時期に起きたほかの変化が混ざります。たとえば次のようなものです。

    • 季節の変化(夏や年末は、メールに関係なく売上が伸びる)

    • 同時期のセールや広告、競合の動き

    • 平均への回帰(直前にたまたま売上が少なかった人は、何もしなくても元に戻りやすい)

    特に「利用が増えた人」「最近購入した人」など、直前の行動で配信対象を選ぶ施策は、平均への回帰の影響を強く受けます。

    正しい比べ方:ホールドアウトを残す

    いちばん確実なのは、配信対象者の一部をランダムに選び、あえて配信しないことです。これをホールドアウト(対照群)と呼びます。

    ランダムに分ければ、関心度の高い人も低い人も、両方のグループに同じ割合で入ります。違いは「メールを受け取ったかどうか」だけになるので、売上の差をそのまま施策の効果とみなせます。

    手順は3ステップです

    1. 何人を残すか決める:ホールドアウトは配信対象の5〜10%が目安です。ただし、差を見分けるのに必要な人数は、CV率や狙う改善幅で大きく変わります。テンプレ03「必要サンプル数とMDE」で事前に確認しておくと安心です。

    2. ランダムに分けて、リストを保存する:配信リストを作る段階で分けます。あとから分け直すと公平さが崩れるため、どの顧客がどちらに入ったかを必ずテーブルに残してください。

    3. 同じ期間で比べる:配信群と非配信群の売上やCV率を、同じ集計期間で比べます。CV率ならテンプレ01、売上とROIならテンプレ04がそのまま使えます。

    SQLでランダムに分ける例です
    (Redshift想定。テーブル名は置き換えてください)。

    CREATE TABLE campaign_target_split AS
    SELECT customer_id
           ,CASE WHEN RANDOM() < 0.10 THEN 'control' ELSE 'treat' END AS group_flag
    FROM   campaign_target;

    ホールドアウトが作れないときは

    「全員に送るのが社内のルール」「すでに配信してしまった」という場合もあります。そのときの次善策が、差の差分析(DiD)です。

    たとえば、配信対象外だった似た顧客層(別エリア、別の会員ランクなど)を用意し、配信群の「前後の差」から、対照層の「前後の差」を引きます。季節やセールのように、全員に共通する変化を差し引けます。

    この計算も、テンプレ集の「テンプレ06:差の差分析」でコピペで実行できます。ただし、ランダムなホールドアウトより前提が多いため、「次回からはホールドアウトを残す」ことをセットで提案するのがおすすめです。

    反応者分析は「無意味」ではない

    ここまで読むと、反応者分析はやめるべきだと思うかもしれません。
    しかし、使い道を間違えなければ、とても役に立つ分析です。
    反応者分析で分かるのは「施策の効果」と言うより、「どんな人が反応したか」です。次のような目的には、寧ろ積極的に使えます。

    • 反応した人の特徴(年代、購入履歴、利用頻度)から、次回の訴求や配信対象のヒントを得る

    • クリックされたリンクや時間帯から、本文の構成や配信時刻を改善する

    • 反応しなかった層を見つけ、別の訴求でアプローチする

    大切なのは、「反応者は〇〇な人が多かった」とは言っても、「メールのおかげで売上が増えた」とは断言しないことです。

    反応者と未反応者の前後比較をしたいときは、テンプレ集の「テンプレ05:施策前後の比較」が使えます。配信日の直前・直後の値を顧客ごとに自動で結合し、差の検定まで行います。

    報告で使える言い換え

    すでに反応者比較で報告してしまった場合や、ホールドアウトがない場合は、言い方を変えるだけでも誤解を防げます。

    ✖ 「メールの効果で、反応者の売上が1.6倍になった」
    〇「反応者は未反応者より売上が1.6倍だった。ただし、もともと購買意欲が 高い層が反応している可能性があり、メールの効果とは区別できない」


    ✖「配信後に売上が10%増えたので、施策は成功した」
    〇「配信後に売上は10%増えたが、同時期の季節要因などを含む。効果の測定には次回ホールドアウトの設定を提案したい」


    ✖「統計的有意差がなかったので、効果はなかった」
    〇「今回の人数では、差を見分けられる精度が足りなかった。効果の有無を判断するには、約〇人規模の検証が必要と考えられる」

    効果検証の前に確認したい5つのチェック

    1. 比べている2つのグループは、ランダムに分けられているか

    2. グループを、本人の行動(開封・クリック・申込)で分けていないか

    3. 比べる期間は、両グループで同じか

    4. 差を見分けるのに十分な人数がいるか

    5. 差の大きさを、信頼区間つきで報告しているか

    1つでも「いいえ」があれば、その結果は施策の効果ではない可能性があります。

    まとめ

    • 反応者と未反応者は、もともと別の人たち。比べても「施策の効果」は分からない

    • 属性をそろえても、前後で比べても、見せかけの差は残る

    • 効果を測るには、配信しないホールドアウトをランダムに残すのがいちばん確実

    • ホールドアウトがなければ、似た層と比べる差の差分析(DiD)を使う

    • 反応者分析は「どんな人が反応したか」を知るために使う

    この記事の内容を、明日から使える形に

    ホールドアウトの人数決めから、効果の判定、報告文の作成までをコピペで実行できるテンプレートを、9本セットにまとめています。

    • テンプレ03:ホールドアウトに何人残せばいいかを計算

    • テンプレ04:増分売上とROIを、信頼区間つきで算出

    • テンプレ06:ホールドアウトがないときの差の差分析

    テンプレ01(CV率のA/B比較)は、記事内で全文を無料公開しています。まずはお試しください。

    ▶コピペで実務に使えるPython×CRM効果検証テンプレート集

    次に読みたい記事

    次回は「数式なしで分かるp値と信頼区間:CRM担当者のための統計超入門」です。この記事で出てきた「偶然のばらつき」や「信頼区間」を、メール施策の例だけで解説しています。

    効果検証の記事は、マガジンにまとめていきます。
    フォローしていただくと、新しい記事が届きます。

    施策の効果検証や、分析環境構築についてのご相談も受け付けています。
    お気軽にコメントやメッセージでご連絡ください。

     
     
    大手代理店データアナリスト CRM・MAの施策企画から効果検証まで約6年。 「その施策、本当に効いた?」を数字で答えるための考え方とPythonテンプレートを発信しています。 統計が苦手なマーケターでもすぐに活用いただけます。

    あなたへのおすすめ