メインコンテンツへスキップ
見出し画像

コピペで実務に使えるPython×CRM効果検証テンプレート集(第1弾)

はじめに:「効果がありました」と言い切れますか?

メルマガやキャンペーンの効果検証で、こんな経験はありませんか。

  • 開封率が0.5pt上がったけれど、それが偶然なのか分からない

  • 上司に「で、売上はいくら増えたの?」と聞かれて答えに詰まった

  • 毎回Excelで同じ集計をして、報告文を一から書いている

この記事では、私が苦労した経験をもとに、CRMやMA施策の現場で実際によく使う効果検証を、Pythonのテンプレート9本にまとめました。数字を書き換えるかCSVを読み込むだけで、検定結果と「そのまま報告に貼れるコメント」まで出力します。

私はMAツールを使ったCRM施策の立案から配信、効果検証までを約6年担当してきました。現場で「これがあれば楽だった」と感じたものを、実業務データを使わずに一から記述し直しています。

この記事が向いている人

  • メール・Push・キャンペーンの効果検証を担当している

  • SQLやExcelでの集計はできるが、統計的な判定に自信がない

  • Pythonは「コードを貼って実行できる」程度でOK(Google Colabで動きます)

逆に、統計の理論をじっくり学びたい方には物足りないかもしれません。
本記事は「正しく判定して、正しく報告する」ための実務書です。

効果検証でよくある3つの間違い

1. 「反応した人」と「反応しなかった人」を比較して、施策の効果だと言ってしまう
メールに反応する人は、もともと商品に関心が高い人である可能性が高いです。したがって、反応者の売上が高いのはメールのおかげとは限りません。施策効果を検証するためには、同条件かつ配信しない対照群(ホールドアウト)との比較が必要です。

2. 指標をたくさん検定して、有意だったものだけを報告する
開封率・クリック率・CV率・売上…と10個検定すれば、効果がなくても1つくらいは偶然「有意」となる場合があります。複数の指標を同時に検証する際には、多重比較の補正が必要です。

3. p値だけを見て、差の大きさを見ない
配信数が数十万件あると、実務上は意味のない小さな差でも「有意」になります。報告では、差の大きさと信頼区間(どのくらいの幅で差があり得るか)を必ず一緒に示しましょう。

この記事のテンプレートは、3つすべてに対応しています。

テンプレート一覧

以下にテンプレートと使用シーンを記載しました。

#01 CV率のA/B比較
【A案とB案どちらが良いか判定し、報告文まで出したい】

#02 ファネル比較
【開封→クリック→CVのどこで差が出たか知りたい】

#03 必要サンプル数
【何人に配信すれば差が分かるか、事前に把握しておきたい】

#04 ホールドアウトの増分効果
【売上がいくら増えたか、ROIはどうかを出したい】

#05 施策前後の比較
【配信日の直前と直後の値を比べたい】

#06 差の差分析(DiD)
【対照群は無いが、似た層と前後比較したい】

#07 コホート継続率
【獲得月別に、何か月目まで継続しているか見たい】

#08 RFM分析
【購買履歴で顧客を分け、配信を出し分けたい】

#09 配信時間帯の分析
【何時に配信すべきか決めたい】

どれを使えばいい?

  1. 施策の前に、配信人数を決めたい → 03

  2. 配信しない対照群をランダムに作れた → 04(CV率だけなら01、段階別なら02)

  3. 対照群は作れなかったが、施策を受けていない似た層がいる → 06

  4. 反応者と未反応者しか比べられない → 05(ただし「効果」とは言い切らない)

  5. 顧客の分け方や配信タイミングを考えたい → 07・08・09

【無料公開】テンプレ01:CV率のA/B比較

今回は、もっとも使用頻度が高いテンプレ01を公開します。Google Colabなどに貼って、そのまま実行してみてください。

使い方
「設定」欄の6つの値(各群の名前・CV数・母数)を書き換えて実行するだけです。

import math
from scipy import stats

# ===== 設定(ここだけ書き換え) =====
A_NAME, A_CV, A_N = "A(既存文面)", 180, 6000
B_NAME, B_CV, B_N = "B(新文面)", 228, 6100
ALPHA = 0.05
# ====================================


def wilson_ci(x, n, z=1.959964):
    """比率の95%信頼区間(Wilson法。率が小さくても安定)"""
    p = x / n
    centre = (p + z**2 / (2 * n)) / (1 + z**2 / n)
    half = z * math.sqrt(p * (1 - p) / n + z**2 / (4 * n**2)) / (1 + z**2 / n)
    return centre - half, centre + half


def compare_proportions(x1, n1, x2, n2):
    """群1と群2の比率を比較。差は『群2 − 群1』"""
    p1, p2 = x1 / n1, x2 / n2
    d = p2 - p1
    pp = (x1 + x2) / (n1 + n2)
    z = d / math.sqrt(pp * (1 - pp) * (1 / n1 + 1 / n2))
    p_value = 2 * stats.norm.sf(abs(z))
    l1, u1 = wilson_ci(x1, n1)
    l2, u2 = wilson_ci(x2, n2)
    ci_lo = d - math.sqrt((p2 - l2) ** 2 + (u1 - p1) ** 2)   # Newcombe法
    ci_hi = d + math.sqrt((u2 - p2) ** 2 + (p1 - l1) ** 2)
    h = 2 * (math.asin(math.sqrt(p2)) - math.asin(math.sqrt(p1)))   # Cohen's h
    return {"rate1": p1, "rate2": p2, "diff": d, "ci_lo": ci_lo, "ci_hi": ci_hi,
            "lift": p2 / p1 - 1 if p1 > 0 else float("nan"), "h": h, "z": z, "p": p_value}


def report_text(r, name1, name2, alpha=ALPHA):
    head = (f"{name2}のCV率は{r['rate2']:.2%}、{name1}は{r['rate1']:.2%}で、"
            f"差は{r['diff']*100:+.2f}pt(95%CI {r['ci_lo']*100:+.2f}〜{r['ci_hi']*100:+.2f}pt、"
            f"相対リフト{r['lift']:+.1%})。")
    if r["p"] < alpha:
        direction = "高い" if r["diff"] > 0 else "低い"
        body = (f"{name2}は{name1}より統計的に有意に{direction}(p={r['p']:.3g})。"
                f"ただし差の大きさには幅があり、控えめに見積もると"
                f"{min(abs(r['ci_lo']), abs(r['ci_hi']))*100:.2f}pt程度の差である点に注意。")
    else:
        body = (f"統計的な有意差は確認できなかった(p={r['p']:.3g})。"
                f"真の差は上記の信頼区間の範囲にあると考えられ、判断には母数が不足している可能性がある"
                f"(必要サンプル数はテンプレ03で算出)。")
    return head + body


if __name__ == "__main__":
    r = compare_proportions(A_CV, A_N, B_CV, B_N)
    print("=== 結果 ===")
    for k, v in r.items():
        print(f"{k:>6}: {v:.6f}")
    print("\n=== 報告用コメント(そのまま貼れます) ===")
    print(report_text(r, A_NAME, B_NAME))

出力例

=== 報告用コメント(そのまま貼れます) ===
B(新文面)のCV率は3.74%、A(既存文面)は3.00%で、差は+0.74pt(95%CI +0.09〜+1.38pt、相対リフト+24.6%)。B(新文面)はA(既存文面)より統計的に有意に高い(p=0.0246)。ただし差の大きさには幅があり、控えめに見積もると0.09pt程度の差である点に注意。

出力の読み方

  • 差と95%CI:真の差は+0.09〜+1.38ptのどこかにありそうだ、という意味です。下限が0より上なので、Bのほうが良いと言えます。

  • 相対リフト:Aに対して何%改善したか。経営層への報告ではこちらが伝わりやすいです。

  • p値:差がないと仮定したとき、これ以上の差が偶然出る確率です。0.05未満なら「有意」としています。

なお、信頼区間の計算には、率が低くても安定する方法(Wilson法・Newcombe法)を採用しています。CV率が1%未満のような施策でも安心して使用いただけます。

有料部分で手に入るもの

  • 残り8本のテンプレート(02〜09)の全コード

  • 各テンプレの「いつ使う・必要なデータ・抽出SQL例・出力の読み方・報告文例・注意点」

  • デモデータ入りなので、自社データがなくてもすぐに実行して試すことができます

  • 増分売上とROIを、信頼区間つきで出すテンプレ(04)

  • 対照群がないときの分析方法(06)

― ここから有料 ―


 
 
大手代理店データアナリスト CRM・MAの施策企画から効果検証まで約6年。 「その施策、本当に効いた?」を数字で答えるための考え方とPythonテンプレートを発信しています。 統計が苦手なマーケターでもすぐに活用いただけます。

あなたへのおすすめ