
コピペで実務に使えるPython×CRM効果検証テンプレート集(第1弾)
はじめに:「効果がありました」と言い切れますか?
メルマガやキャンペーンの効果検証で、こんな経験はありませんか。
開封率が0.5pt上がったけれど、それが偶然なのか分からない
上司に「で、売上はいくら増えたの?」と聞かれて答えに詰まった
毎回Excelで同じ集計をして、報告文を一から書いている
この記事では、私が苦労した経験をもとに、CRMやMA施策の現場で実際によく使う効果検証を、Pythonのテンプレート9本にまとめました。数字を書き換えるかCSVを読み込むだけで、検定結果と「そのまま報告に貼れるコメント」まで出力します。
私はMAツールを使ったCRM施策の立案から配信、効果検証までを約6年担当してきました。現場で「これがあれば楽だった」と感じたものを、実業務データを使わずに一から記述し直しています。
この記事が向いている人
メール・Push・キャンペーンの効果検証を担当している
SQLやExcelでの集計はできるが、統計的な判定に自信がない
Pythonは「コードを貼って実行できる」程度でOK(Google Colabで動きます)
逆に、統計の理論をじっくり学びたい方には物足りないかもしれません。
本記事は「正しく判定して、正しく報告する」ための実務書です。
効果検証でよくある3つの間違い
1. 「反応した人」と「反応しなかった人」を比較して、施策の効果だと言ってしまう
メールに反応する人は、もともと商品に関心が高い人である可能性が高いです。したがって、反応者の売上が高いのはメールのおかげとは限りません。施策効果を検証するためには、同条件かつ配信しない対照群(ホールドアウト)との比較が必要です。
2. 指標をたくさん検定して、有意だったものだけを報告する
開封率・クリック率・CV率・売上…と10個検定すれば、効果がなくても1つくらいは偶然「有意」となる場合があります。複数の指標を同時に検証する際には、多重比較の補正が必要です。
3. p値だけを見て、差の大きさを見ない
配信数が数十万件あると、実務上は意味のない小さな差でも「有意」になります。報告では、差の大きさと信頼区間(どのくらいの幅で差があり得るか)を必ず一緒に示しましょう。
この記事のテンプレートは、3つすべてに対応しています。
テンプレート一覧
以下にテンプレートと使用シーンを記載しました。
#01 CV率のA/B比較
【A案とB案どちらが良いか判定し、報告文まで出したい】
#02 ファネル比較
【開封→クリック→CVのどこで差が出たか知りたい】
#03 必要サンプル数
【何人に配信すれば差が分かるか、事前に把握しておきたい】
#04 ホールドアウトの増分効果
【売上がいくら増えたか、ROIはどうかを出したい】
#05 施策前後の比較
【配信日の直前と直後の値を比べたい】
#06 差の差分析(DiD)
【対照群は無いが、似た層と前後比較したい】
#07 コホート継続率
【獲得月別に、何か月目まで継続しているか見たい】
#08 RFM分析
【購買履歴で顧客を分け、配信を出し分けたい】
#09 配信時間帯の分析
【何時に配信すべきか決めたい】
どれを使えばいい?
施策の前に、配信人数を決めたい → 03
配信しない対照群をランダムに作れた → 04(CV率だけなら01、段階別なら02)
対照群は作れなかったが、施策を受けていない似た層がいる → 06
反応者と未反応者しか比べられない → 05(ただし「効果」とは言い切らない)
顧客の分け方や配信タイミングを考えたい → 07・08・09
【無料公開】テンプレ01:CV率のA/B比較
今回は、もっとも使用頻度が高いテンプレ01を公開します。Google Colabなどに貼って、そのまま実行してみてください。
使い方
「設定」欄の6つの値(各群の名前・CV数・母数)を書き換えて実行するだけです。
import math
from scipy import stats
# ===== 設定(ここだけ書き換え) =====
A_NAME, A_CV, A_N = "A(既存文面)", 180, 6000
B_NAME, B_CV, B_N = "B(新文面)", 228, 6100
ALPHA = 0.05
# ====================================
def wilson_ci(x, n, z=1.959964):
"""比率の95%信頼区間(Wilson法。率が小さくても安定)"""
p = x / n
centre = (p + z**2 / (2 * n)) / (1 + z**2 / n)
half = z * math.sqrt(p * (1 - p) / n + z**2 / (4 * n**2)) / (1 + z**2 / n)
return centre - half, centre + half
def compare_proportions(x1, n1, x2, n2):
"""群1と群2の比率を比較。差は『群2 − 群1』"""
p1, p2 = x1 / n1, x2 / n2
d = p2 - p1
pp = (x1 + x2) / (n1 + n2)
z = d / math.sqrt(pp * (1 - pp) * (1 / n1 + 1 / n2))
p_value = 2 * stats.norm.sf(abs(z))
l1, u1 = wilson_ci(x1, n1)
l2, u2 = wilson_ci(x2, n2)
ci_lo = d - math.sqrt((p2 - l2) ** 2 + (u1 - p1) ** 2) # Newcombe法
ci_hi = d + math.sqrt((u2 - p2) ** 2 + (p1 - l1) ** 2)
h = 2 * (math.asin(math.sqrt(p2)) - math.asin(math.sqrt(p1))) # Cohen's h
return {"rate1": p1, "rate2": p2, "diff": d, "ci_lo": ci_lo, "ci_hi": ci_hi,
"lift": p2 / p1 - 1 if p1 > 0 else float("nan"), "h": h, "z": z, "p": p_value}
def report_text(r, name1, name2, alpha=ALPHA):
head = (f"{name2}のCV率は{r['rate2']:.2%}、{name1}は{r['rate1']:.2%}で、"
f"差は{r['diff']*100:+.2f}pt(95%CI {r['ci_lo']*100:+.2f}〜{r['ci_hi']*100:+.2f}pt、"
f"相対リフト{r['lift']:+.1%})。")
if r["p"] < alpha:
direction = "高い" if r["diff"] > 0 else "低い"
body = (f"{name2}は{name1}より統計的に有意に{direction}(p={r['p']:.3g})。"
f"ただし差の大きさには幅があり、控えめに見積もると"
f"{min(abs(r['ci_lo']), abs(r['ci_hi']))*100:.2f}pt程度の差である点に注意。")
else:
body = (f"統計的な有意差は確認できなかった(p={r['p']:.3g})。"
f"真の差は上記の信頼区間の範囲にあると考えられ、判断には母数が不足している可能性がある"
f"(必要サンプル数はテンプレ03で算出)。")
return head + body
if __name__ == "__main__":
r = compare_proportions(A_CV, A_N, B_CV, B_N)
print("=== 結果 ===")
for k, v in r.items():
print(f"{k:>6}: {v:.6f}")
print("\n=== 報告用コメント(そのまま貼れます) ===")
print(report_text(r, A_NAME, B_NAME))出力例
=== 報告用コメント(そのまま貼れます) ===
B(新文面)のCV率は3.74%、A(既存文面)は3.00%で、差は+0.74pt(95%CI +0.09〜+1.38pt、相対リフト+24.6%)。B(新文面)はA(既存文面)より統計的に有意に高い(p=0.0246)。ただし差の大きさには幅があり、控えめに見積もると0.09pt程度の差である点に注意。出力の読み方
差と95%CI:真の差は+0.09〜+1.38ptのどこかにありそうだ、という意味です。下限が0より上なので、Bのほうが良いと言えます。
相対リフト:Aに対して何%改善したか。経営層への報告ではこちらが伝わりやすいです。
p値:差がないと仮定したとき、これ以上の差が偶然出る確率です。0.05未満なら「有意」としています。
なお、信頼区間の計算には、率が低くても安定する方法(Wilson法・Newcombe法)を採用しています。CV率が1%未満のような施策でも安心して使用いただけます。
有料部分で手に入るもの
残り8本のテンプレート(02〜09)の全コード
各テンプレの「いつ使う・必要なデータ・抽出SQL例・出力の読み方・報告文例・注意点」
デモデータ入りなので、自社データがなくてもすぐに実行して試すことができます
増分売上とROIを、信頼区間つきで出すテンプレ(04)
対照群がないときの分析方法(06)
― ここから有料 ―