メインコンテンツへスキップ

Fisher情報とχ²分布の関係

    — 距離・ゆらぎ・統計量がつながるところ —

    これまで見てきたように、

    • 正規分布は距離(マハラノビス距離)で定義される

    • χ²分布はその距離の二乗として現れる

    では次の問いが自然に出てくる。

    Fisher情報とは、この中でどのような役割を持っているのか?

    結論から言うと、

    Fisher情報は「距離の定義そのもの」であり、
    χ²分布はその距離を実際に測ったときに現れる量である。


    1. Fisher情報とは何か

    Fisher情報は次で定義される:

    F(θ) = E [ (∂/∂θ log p(x|θ))² ]

    (多次元では行列になる)


    これは何を意味しているかというと:

    分布がパラメータに対してどれだけ敏感に変わるか



    一番重要な一行


    Fisher情報は「確率分布空間における距離の定義」



    2. 距離としての意味

    パラメータが少し変わったとき、

    θ → θ + dθ


    分布の変化量は:

    ds² = dθᵀ F dθ


    これが距離(計量)になる



    3. χ²分布との接続

    ここで重要なのが、

    「実際に観測したデータでこの距離を測るとどうなるか?」



    スコア関数:

    s(x) = ∂/∂θ log p(x|θ)



    このとき、

    Σ s(xᵢ)²


    χ²分布に従う(近似的に)



    一番重要な一行(再掲)


    χ²分布は「Fisher情報で定義された距離をデータで測ったもの」



    4. もう少し直感的に


    Fisher情報:

     距離のルール


    χ²分布:

     実際に測った距離のばらつき



    設計図と測定結果の関係



    5. 正規分布との一致

    正規分布では:

    • Fisher情報 = Σ⁻¹

    • 距離 = xᵀ Σ⁻¹ x


    これはすでにχ²分布になっている



    完全一致



    6. 統計学での意味


    検定統計量:

    • 尤度比検定

    • Wald検定

    • スコア検定


    これらはすべて:

    χ²分布に従う



    理由:

    Fisher情報で定義された距離を測っているから



    一番深い一行


    統計的検定とは「分布間の距離を測る行為」である



    7. まとめ


    • Fisher情報 → 距離の定義

    • χ²分布 → 距離の測定値

    • 正規分布 → 特別な場合



    最後に

    一行で言えば:

    Fisher情報が「距離」を与え、χ²分布が「その距離の分布」を与える



    この視点に立つと、

    • 情報幾何

    • 統計力学

    • 機械学習

    がすべて同じ構造の上にあることが見えてくる。

    あなたへのおすすめ