メインコンテンツへスキップ
見出し画像

カテゴリを比べる ―― カイ二乗検定と比率の検定

    連載**「手を動かす統計学 ―― 実データとPythonで学ぶ」** 第11回
    ← 前 第10回 平均を比べる / 次 → 第12回 回帰分析
    連載トップ(全16回の目次)


    この回で持ち帰ってほしいこと

    • 分割表から期待度数を計算し、カイ二乗統計量の意味を説明できる

    • 独立性の検定を Python で実行し、標準化残差で「どのセルが効いたか」を読める

    • 効果量(Cramér's V)を計算し、p値と併記できる

    • 期待度数が小さいときに Fisher の正確確率検定へ切り替えられる


    1. 分割表と期待度数

    カテゴリ変数が2つあるとき、クロス集計した表を分割表と呼びます。
    知りたいのは「2つの変数は独立か、それとも関連があるか」です。

    第5回で使った中国8都市の症例対照研究を、2×2 にまとめます。

    import statsmodels.api as sm
    import numpy as np
    from scipy import stats
    
    d = sm.datasets.china_smoking.load_pandas().data
    tot = d.sum()
    obs = np.array([
        [tot["smoking_yes_cancer_yes"], tot["smoking_yes_cancer_no"]],
        [tot["smoking_no_cancer_yes"],  tot["smoking_no_cancer_no"]],
    ], float)
    
    print("観測度数")
    print(f"              がん   対照    計")
    print(f"喫煙あり   {obs[0,0]:7.0f} {obs[0,1]:6.0f} {obs[0].sum():6.0f}")
    print(f"喫煙なし   {obs[1,0]:7.0f} {obs[1,1]:6.0f} {obs[1].sum():6.0f}")
    print(f"計         {obs[:,0].sum():7.0f} {obs[:,1].sum():6.0f} "
          f"{obs.sum():6.0f}")
    観測度数
                  がん   対照    計
    喫煙あり      2930   2359   5289
    喫煙なし      1151   1979   3130
    計            4081   4338   8419

    期待度数は「もし独立だったら、各セルはいくつになるはずか」です。

    Eij=(行の合計)×(列の合計)総計E_{ij} = \frac{(\text{行の合計}) \times (\text{列の合計})}{\text{総計}}

    chi2, p, dof, exp = stats.chi2_contingency(obs, correction=False)
    print("期待度数(独立だった場合)")
    print(np.round(exp, 2))
    print(f"\nχ² = {chi2:.4f},  自由度 = {dof},  p = {p:.4e}")
    期待度数(独立だった場合)
    [[2563.77 2725.23]
     [1517.23 1612.77]]
    
    χ² = 273.0908,  自由度 = 1,  p = 2.4060e-61

    カイ二乗統計量は「観測と期待のずれ」を集めたものです。

    χ2=∑i,j(Oij−Eij)2Eij\chi^2 = \sum_{i,j} \frac{(O_{ij} - E_{ij})^2}{E_{ij}}

    ずれを EE で割っているのがポイントです。
    同じ 100 のずれでも、期待度数が 20 のセルと 2000 のセルでは重みが違うからです。


    2. どのセルが効いたのか ―― 標準化残差

    カイ二乗検定は「どこかにずれがある」としか言いません。
    どのセルが効いたかを知るには標準化残差を見ます。

    rij=Oij−EijEijr_{ij} = \frac{O_{ij} - E_{ij}}{\sqrt{E_{ij}}}

    resid = (obs - exp) / np.sqrt(exp)
    print("標準化残差")
    print(np.round(resid, 2))
    標準化残差
    [[ 7.23 -7.02]
     [-9.4   9.12]]

    ▼図1▼

    画像

    図1:左:行ごとの割合 右:観測・期待・標準化残差

    喫煙ありでがんが期待より多く(+7.23)、喫煙なしでがんが期待より少ない(−9.40)。
    目安として ∣r∣>2|r| > 2 なら「そのセルが有意に寄与している」と読みます。

    残差を見ない分割表の分析は、中身が空です。
    「χ² = 273、p < 0.001 で有意でした」だけでは、
    どの組み合わせが多かったのかが分かりません。


    3. 効果量 ―― n が大きければ必ず有意になる

    ここでも第9回の教訓が効きます。カイ二乗統計量は n に比例して大きくなります。
    そこで効果量 Cramér's V を使います。

    V=χ2n×min⁡(r−1, c−1)V = \sqrt{\frac{\chi^2}{n \times \min(r-1,\thinspace c-1)}}

    n = obs.sum()
    V = np.sqrt(chi2 / (n * min(obs.shape[0]-1, obs.shape[1]-1)))
    print(f"n = {n:.0f}")
    print(f"Cramér's V = {V:.4f}")
    n = 8419
    Cramér's V = 0.1801

    ▼表1▼

    画像

    表1:V・目安(df=1 のとき)、Cramér's V の目安(自由度1の場合)

    p = 2.4×10⁻⁶¹ という天文学的な有意性に対して、V = 0.18 は「小〜中」程度です。

    これは矛盾ではありません。
    **「関連があることは極めて確か。ただし関連の強さは中程度」**ということです。
    n=8,419 もあれば、小さな関連でも確実に検出できます。

    p値は「あるか」を、効果量は「どれくらいか」を答える。
    両方を書いて初めて、読み手は意思決定できます。


    4. カイ二乗分布と自由度

    from scipy import stats
    for df in (1, 2, 5, 10):
        print(f"自由度 {df:2d}: 95%点 = {stats.chi2.ppf(0.95, df):.4f}")
    自由度  1: 95%点 = 3.8415
    自由度  2: 95%点 = 5.9915
    自由度  5: 95%点 = 11.0705
    自由度 10: 95%点 = 18.3070

    ▼図2▼

    画像

    図2:自由度が増えると分布は右へ広がる

    r×cr \times c の分割表の自由度は (r−1)(c−1)(r-1)(c-1) です。
    2×2 なら 1、3×4 なら 6 になります。



    画像

    5. 期待度数が小さいとき ―― Fisher の正確確率検定

    カイ二乗検定は近似です。期待度数が小さいと近似が壊れます。

    経験則:すべてのセルで期待度数が 5 以上。
    それを下回るセルがあるなら、Fisher の正確確率検定を使う。

    small = np.array([[8., 2.],
                      [3., 7.]])
    c2, p2, dof2, exp2 = stats.chi2_contingency(small, correction=False)
    _, pf = stats.fisher_exact(small)
    
    print(f"期待度数:\n{np.round(exp2, 2)}")
    print(f"\nカイ二乗検定  p = {p2:.4f}")
    print(f"Fisher の検定 p = {pf:.4f}")
    期待度数:
    [[5.5 4.5]
     [5.5 4.5]]
    
    カイ二乗検定  p = 0.0246
    Fisher の検定 p = 0.0698

    カイ二乗なら有意(0.0246)、Fisher なら有意でない(0.0698)。
    結論がひっくり返ります。

    このデータは期待度数が 4.5 のセルを含むので、Fisher が正しい選択です。
    カイ二乗を使っていたら、存在しない差を報告するところでした。

    scipy の chi2_contingency は 2×2 のとき既定で
    Yates の連続性補正(correction=True)を適用します。
    この記事では比較のため correction=False にしていますが、
    2×2 で n が小さいときは補正ありか Fisher を使ってください。


    6. 比率の差の検定

    2×2 の分割表は、「2つの比率が等しいか」と言い換えられます。

    from statsmodels.stats.proportion import proportions_ztest, proportion_confint
    
    count = np.array([2930, 1151])      # がんの人数
    nobs  = np.array([5289, 3130])      # 各群の人数
    
    z, pz = proportions_ztest(count, nobs)
    print(f"喫煙あり のがん割合 = {count[0]/nobs[0]:.4f}")
    print(f"喫煙なし のがん割合 = {count[1]/nobs[1]:.4f}")
    print(f"差 = {count[0]/nobs[0] - count[1]/nobs[1]:.4f}")
    print(f"z = {z:.4f},  p = {pz:.4e}")
    喫煙あり のがん割合 = 0.5540
    喫煙なし のがん割合 = 0.3677
    差 = 0.1863
    z = 16.5255,  p = 2.4060e-61

    p値はカイ二乗検定とまったく同じ(2.406×10⁻⁶¹)です。
    実は 2×2 のカイ二乗検定と比率の差の z検定は、数学的に等価(z2=χ2z^2 = \chi^2)です。

    print(f"z² = {z**2:.4f}   χ² = {chi2:.4f}")
    z² = 273.0908   χ² = 273.0908

    比率の信頼区間も忘れずに(第8回のとおり Wilson 法で)。

    ▼図3▼

    画像

    図3:小標本では正規近似(赤)が0を割り込む。Wilson(青)が安全


    7. 【AIプロンプト】生成AIで深める

    あなたは統計の指導者です。答えを先に言わず、私に考えさせてください。
    
    次の分析について、適切な検定を選ぶための「確認すべきこと」を3つ、
    私に挙げさせてください。私が答えたあとで、抜けだけを補ってください。
    
    状況:
    「新しい研修を受けた社員40人と、受けていない社員35人について、
     1年後に昇進したかどうかを調べた。
     昇進した人は研修群で6人、非研修群で2人だった。
     研修に効果があったと言えるか。」
    Python で、カイ二乗検定の「期待度数が小さいときの危うさ」を
    シミュレーションで示すコードを書いてください。
    
    - 真に独立な2×2 分割表を、総数 n = 20, 40, 100, 400 で10,000回生成
    - 各 n で「カイ二乗検定(補正なし)」「カイ二乗検定(Yates補正)」
      「Fisher の正確確率検定」の3つが p<0.05 になった割合を比べる
    - 本来は5%になるべきなので、どれが5%から外れるかを表にする
    乱数シードを固定し、各行に日本語コメントを付けてください。

    8. AI・データサイエンスとのつながり

    • 分類器の評価:混同行列はまさに分割表です(第13回)。「予測と正解が独立でない」ことを示すのがカイ二乗検定にあたります。

    • 特徴量選択:sklearn.feature_selection.chi2 はカテゴリ特徴量の選択にカイ二乗統計量を使います。n が大きいと全部が有意になる点に注意。

    • A/Bテスト:コンバージョン率の比較は、まさに比率の差の検定です。

    • 公平性の監査:モデルの出力が属性(性別、地域など)と独立かを調べるとき、分割表と標準化残差が基本の道具になります。


    9. 演習問題

    ★ 問1 2×3 の分割表の自由度はいくつですか。4×5 なら?

    ★★ 問2 第1節の 2×2 表について、Yates の連続性補正を適用した場合の
    カイ二乗値とp値を求め、補正なしと比べてください。

    ★★★ 問3 第5節の小さな表 [[8,2],[3,7]] について、
    オッズ比とその95%信頼区間を求めてください。
    信頼区間は1をまたぎますか。Fisher の検定の結論と一致しますか。


    解答と解説

    問1
    2×3 は (2−1)(3−1)=2(2-1)(3-1) = 2。4×5 は (4−1)(5−1)=12(4-1)(5-1) = 12。

    問2

    c_no, p_no, _, _ = stats.chi2_contingency(obs, correction=False)
    c_ye, p_ye, _, _ = stats.chi2_contingency(obs, correction=True)
    print(f"補正なし: χ² = {c_no:.4f}, p = {p_no:.3e}")
    print(f"補正あり: χ² = {c_ye:.4f}, p = {p_ye:.3e}")
    補正なし: χ² = 273.0908, p = 2.406e-61
    補正あり: χ² = 272.3456, p = 3.497e-61

    n = 8,419 と大きいので、補正の有無でほとんど変わりません(χ² が 0.75 下がるだけ)。
    連続性補正が効くのは n が小さいときだけです。
    大標本ではどちらでも同じ結論になります。

    問3

    import numpy as np
    from scipy import stats
    
    a, b, c, d_ = 8, 2, 3, 7
    or_ = (a * d_) / (b * c)
    # log オッズ比の標準誤差
    se_log = np.sqrt(1/a + 1/b + 1/c + 1/d_)
    lo = np.exp(np.log(or_) - 1.96 * se_log)
    hi = np.exp(np.log(or_) + 1.96 * se_log)
    print(f"オッズ比 = {or_:.4f}")
    print(f"95%信頼区間 = [{lo:.4f}, {hi:.4f}]")
    print(f"1 を含むか: {lo <= 1 <= hi}")
    オッズ比 = 9.3333
    95%信頼区間 = [1.1934, 72.9934]
    1 を含むか: False

    オッズ比は 9.33 と大きいものの、信頼区間は [1.19, 72.99] と極端に広い。
    n=20 しかないので、ほとんど何も分かっていないに等しい状態です。

    区間が1をまたがないので「有意」と読めますが、
    Fisher の正確確率検定では p = 0.0698 で有意ではありませんでした。
    小標本では、近似に基づく方法どうしでも結論が食い違います。

    この場合、報告すべきは「オッズ比 9.3(95%CI 1.2–73.0、Fisher の p = 0.070、n=20)」
    という全部込みの形です。そして正直に
    「サンプルが小さすぎて結論は出せない」と書くべきです。


    まとめ

    • 分割表では期待度数(独立ならこうなるはず)とのずれを測る

    • 標準化残差で「どのセルが効いたか」を読む。∣r∣>2|r| > 2 が目安

    • Cramér's V で効果量を併記。n が大きければ小さな関連でも有意になる

    • 期待度数 5 未満のセルがあれば Fisher の正確確率検定へ

    • 2×2 のカイ二乗検定と比率の差の z検定は等価(z2=χ2z^2 = \chi^2)

    • 小標本では方法によって結論が食い違う。「結論が出せない」と書く勇気

    次回は、関係を式でモデル化します。回帰分析に入ります。


    ← 前 第10回 / 次 → 第12回 回帰分析
    連載トップへ戻る

     
     
    高専現役教員|AI・ものづくり教育|学生伴走&技術コンテスト指導|研究室のリアルな日常から、高専の進路・学習法、先端テックの社会実装まで発信しています。「手を動かしてつくる面白さ」を伝えたい。

    あなたへのおすすめ