メインコンテンツへスキップ
見出し画像

No.02 数式なしで分かるp値と信頼区間:CRM担当者のための統計超入門

    「有意差は出ませんでした」と報告したあとで

    A/Bテストの報告で、こんなやり取りをしたことはありませんか。

    自分:「B案のCV率は0.6pt高かったのですが、有意差は出ませんでした」

    上司:「じゃあ、B案は効果なしってこと?」
    自分:「えっと……そういうわけでもないような……」

    「有意差」「p値」「信頼区間」は、効果検証で必ず出てくる言葉です。
    しかし、正しく説明できる人は意外と多くありません。

    この記事では、数式を使わずに、メール施策の例だけでp値と信頼区間を解説します。読み終えるころには、冒頭の上司の質問に自信を持って答えられるようになります。

    後半では、Google Colabで実際に試せる実験も紹介します。

    p値とは:「偶然でもこのくらいの差は出る?」の目安

    たとえば、AとBのメールを5,000人ずつに送り、次の結果になったとします。

    • A案:CV率3.0%

    • B案:CV率3.6%

    Bのほうが0.6pt高い結果です。しかし、まったく同じメールを2回送っても、CV率は毎回少しずつぶれます。サイコロを600回振って、1の目がぴったり100回出ないのと同じです。

    そこで考えるのが、次の問いです。

    もしAとBに本当は差がないとしたら、偶然だけで「0.6pt以上の差」が出る確率はどのくらいか?

    この確率がp値です。

    • p値が小さい(例:0.01):差がないのに、偶然これだけの差が出ることはめったにない。だから「本当に差がありそうだ」と考える

    • p値が大きい(例:0.40):差がなくても、このくらいの差は偶然よく出る。だから「この結果だけでは、差があるとは言えない」と考える

    実務では、p値が0.05(5%)より小さいときに「統計的に有意」と呼ぶのが一般的です。

    p値についての3つの誤解

    誤解1:p値が小さいほど、効果が大きい
    p値は効果の大きさを表しません。
    配信数が数十万件あると、0.01ptのようなごく小さな差でもp値は小さくなります。「有意だった」と「効果が大きかった」は別の話です。

    誤解2:p値0.03なら、B案が良い確率は97%
    こちらも、よくある誤解です。p値は「差がないと仮定したときに、今回の結果がどれくらい珍しいか」を表す数字で、「B案が良い確率」ではありません。報告では「B案が良い確率97%」とは書かないようにしましょう。

    誤解3:0.05を下回れば成功、上回れば失敗
    0.05は慣習として決められた目安にすぎません。p値0.049と0.051の結果に、本質的な違いはほとんどありません。
    p値だけで白黒をつけるのではなく、次に説明する信頼区間と一緒に見ることが大切です。

    信頼区間とは:「本当の差は、だいたいこの範囲」

    p値は「差があると言えるか」を教えてくれますが、「差はどのくらいか」は教えてくれません。そこで使うのが信頼区間です。
    先ほどの例(A案3.0%、B案3.6%、各5,000人)で計算すると、結果は次のようになります。

    • 差:+0.6pt

    • 差の95%信頼区間:−0.1pt〜+1.3pt

    • p値:約0.09

    95%信頼区間は、ざっくり言えば「本当の差は、たぶんこの範囲のどこかにある」という幅です。今回なら「B案はA案より0.1pt悪いかもしれないし、1.3pt良いかもしれない」と読みます。

    信頼区間の3つの読み方

    信頼区間は、0(差なし)との位置関係を見ると読みやすくなります。

    1. 区間が全部プラス(例:+0.2〜+1.0pt):B案のほうが良いと言える。
      p値も0.05未満になる

    2. 区間が0をまたぐ(例:−0.1〜+1.3pt):良いとも悪いとも言えない。
      ただし「効果がない」と決まったわけではない

    3. 区間が全部マイナス(例:−1.0〜−0.2pt):B案のほうが悪いと言える

    冒頭の例は2に当たります。上司への答えは、「効果なし」ではなく次のようになります。

    B案は最大1.3pt良い可能性もありますが、今回の人数では0.1pt悪い可能性も否定できず、判断できませんでした。

    区間の幅にも注目してください。幅が広いほど、結果が曖昧だということです。幅は配信人数を増やすと狭くなります。

    区間の幅にも注目してください。幅が広いほど、結果が曖昧だということです。幅は配信人数を増やすと狭くなります。

    Colabで確かめる:同じテストを1,000回やってみる

    p値や信頼区間の意味は、同じテストを何度も繰り返してみると実感できます。実務では1回しかできませんが、コンピューターの中なら1,000回でも試せます。

    • 実験1:AもBも、本当のCV率は3.0%で同じ。差はまったくない

    • 実験2:Aは3.0%、Bは3.5%。Bのほうが本当に0.5pt良い

    どちらも、1群5,000人のA/Bテストを1,000回繰り返します。
    下のコードをGoogle Colabに貼って実行してください。

    import numpy as np
    from scipy import stats
    
    rng = np.random.default_rng(42)
    N = 5_000          # 1群あたりの配信数
    TRIALS = 1_000     # 同じテストを何回繰り返すか
    
    def ab_test(p_a, p_b):
        """A/Bテストを1回行い、p値と差の95%信頼区間を返す"""
        a, b = rng.binomial(N, p_a), rng.binomial(N, p_b)
        ra, rb = a / N, b / N
        pooled = (a + b) / (2 * N)
        z = (rb - ra) / np.sqrt(pooled * (1 - pooled) * 2 / N)
        se = np.sqrt(ra * (1 - ra) / N + rb * (1 - rb) / N)
        return 2 * stats.norm.sf(abs(z)), (rb - ra - 1.96 * se, rb - ra + 1.96 * se)
    
    # 実験1:AとBがまったく同じ(CV率3.0%どうし)
    p_values = [ab_test(0.030, 0.030)[0] for _ in range(TRIALS)]
    print(f"【実験1】差がないのに『有意』になった割合: {np.mean(np.array(p_values) < 0.05):.1%}")
    
    # 実験2:Bが本当に0.5pt良い(3.0% → 3.5%)
    results = [ab_test(0.030, 0.035) for _ in range(TRIALS)]
    sig = np.mean([p < 0.05 for p, _ in results])
    covered = np.mean([lo <= 0.005 <= hi for _, (lo, hi) in results])
    print(f"【実験2】本当に差があるのに『有意差なし』になった割合: {1 - sig:.1%}")
    print(f"【実験2】95%信頼区間が本当の差(+0.5pt)を含んだ割合: {covered:.1%}")
    
    p, (lo, hi) = results[0]
    print(f"\n実験2の1回目の結果: p値={p:.3f}, 差の95%信頼区間 {lo*100:+.2f}pt 〜 {hi*100:+.2f}pt")

    結果から分かること

    実験1:差がなくても、約5%は「有意」になる
    AとBがまったく同じでも、1,000回中48回(4.8%)は「有意差あり」と判定されました。これが「p値0.05未満を有意とする」ことの意味です。差がないときに、間違えて「差がある」と言ってしまう確率を、約5%に抑えるルール、と言えます。

    裏を返せば、指標を20個検定すれば、効果がなくても1つくらいは偶然「有意」になります。開封率・クリック率・CV率…と多くの指標を同時に見るときは、補正が必要です。テンプレ集の「テンプレ02:ファネル比較」では、この補正(Holm法)を自動で行います。

    実験2:95%信頼区間は、本当に95%の確率で当たる
    1,000回のうち950回、信頼区間の中に本当の差(+0.5pt)が入っていました。「95%信頼区間」の95%は、この「当たる割合」のことです。

    実験2のもう一つの結果は、次の章で説明します。

    「有意差なし」は「効果なし」ではない

    実験2の結果をもう一度見てください。

    Bは本当に0.5pt良いのに、1,000回中711回(71.1%)は「有意差なし」と判定されました。つまり、このテスト設計では、本当に効果があっても7割の確率で見逃してしまいます。

    原因は、人数が足りないことです。1群5,000人では、CV率3%前後の施策で見分けられるのは、だいたい1pt前後の差までです。0.5ptの差は、偶然のぶれに埋もれてしまいます。

    0.5ptの差を8割の確率で見つけるには、1群あたり約2万人が必要です。5,000人の約4倍です。

    ここから分かる大切なことは2つです。

    1. 「有意差なし」の結果だけで、施策を「効果なし」と判断して打ち切らない

    2. テストの前に、必要な人数を計算しておく

    特に2は重要です。人数が足りないテストは、結果がどう出ても判断に使えません。配信の手間や機会損失だけが残ってしまいます。

    必要な人数は、テンプレ集の「テンプレ03:必要サンプル数とMDE」で計算できます。ベースのCV率と狙いたい改善幅を入れるだけで、必要人数の早見表と、「この人数なら最小でどこまでの差を見分けられるか」が出力されます。

    報告では「差・信頼区間・p値」をセットで

    ここまでの内容を、報告の書き方にまとめます。基本は、次の3つを必ずセットで書くことです。

    1. 差の大きさ(何pt、何%改善したか)

    2. 95%信頼区間(本当の差がありそうな範囲)

    3. p値(偶然では説明しにくいか)

    結果のパターン別に、報告文の例を紹介します。

    パターン1:区間が全部プラス(有意に良い)
    B案のCV率は3.74%で、A案の3.00%より0.74pt高い結果でした(95%信頼区間 +0.09〜+1.38pt、p=0.02)。B案のほうが良いと判断できます。ただし改善幅には幅があり、控えめに見ると0.1pt程度の可能性もあります。

    パターン2:区間が0をまたぐ(判断できない)
    B案はA案より0.6pt高い結果でしたが、95%信頼区間は−0.1〜+1.3ptで、差があるとは言えませんでした(p=0.09)。効果がないとは限らないため、0.5pt程度の差まで見分けられるよう、配信を重ねて合計約4万人規模で再検証することを提案します。

    パターン3:有意だが差がとても小さい
    開封率は0.05pt上昇し、統計的には有意でした(p=0.01)。ただし差はごくわずかで、売上への影響は小さいと考えられます。

    パターン1の文章は、テンプレ集の「テンプレ01:CV率のA/B比較」がそのまま出力するものです。数字を書き換えるだけで、差・信頼区間・p値と報告文がまとめて出てきます。テンプレ01はテンプレ集の記事内で全文を無料公開しているので、まずはお試しください。

    まとめ

    • p値は「差がないとしたら、偶然でこのくらいの差が出る確率」。
      効果の大きさや、B案が良い確率ではない

    • 95%信頼区間は「本当の差がありそうな範囲」。
      0をまたぐかどうかで読む

    • 差がなくても、約5%は偶然「有意」になる。
      指標が多いときは補正が必要

    • 「有意差なし」は「効果なし」ではない。
      多くは人数不足が原因

    • 報告では、差・信頼区間・p値をセットで書く

    今日から使えるテンプレート

    この記事で紹介した計算は、すべてコピペで実行できるテンプレートにまとめています。

    • テンプレ01:差・信頼区間・p値と報告文を一括出力
      (記事内で全文無料公開)

    • テンプレ02:複数の指標を同時に見るときの補正つきファネル比較

    • テンプレ03:テスト前に必要な人数を計算

    ▶コピペで実務に使えるPython×CRM効果検証テンプレート集

    あわせて読みたい

    ▶その効果検証、間違っていませんか?反応者と未反応者を単純比較してはしてはいけない理由

    次回は「その差に、意味はある?ビジネスで使える「効果の大きさ」の測り方」です。
    今回、「p値は差の大きさを表さない」と説明しました。次回は、その差がビジネスとして意味のある大きさかどうかを、相対リフトと金額換算で判断する方法を解説します。

    効果検証の記事は、マガジンにまとめています。フォローしておくと、新しい記事が届きます。

    施策の効果検証や、分析環境構築についてのご相談も受け付けています。
    お気軽にコメントやメッセージでご連絡ください。

     
     
    大手代理店データアナリスト CRM・MAの施策企画から効果検証まで約6年。 「その施策、本当に効いた?」を数字で答えるための考え方とPythonテンプレートを発信しています。 統計が苦手なマーケターでもすぐに活用いただけます。

    あなたへのおすすめ