メインコンテンツへスキップ

Fisher情報と自由度はどうつながるのか

    — χ²分布・t分布まで一気につながる見方 —

    これまで見てきたように、

    • Fisher情報は「距離(計量)」を定義する

    • χ²分布は「距離の二乗」として現れる

    • t分布は「スケールが不確実な距離」から現れる

    ここで自然に出てくる疑問はこれである:

    自由度とは何なのか?
    そしてそれはFisher情報とどう関係しているのか?

    結論から言うと、

    自由度は「動ける独立な方向の数」であり、
    Fisher情報は「その各方向でどれだけ区別できるか」を与える。


    1. 自由度とは何か

    自由度とは:

    独立に変動できる方向の数


    例えば:

    • k次元の正規分布
      → 自由度 = k


    つまり、

    自由度 = 空間の次元



    一番重要な一行


    自由度とは「距離を測る空間の次元」である



    2. Fisher情報の役割

    Fisher情報は次の形で現れる:

    ds² = dθᵀ F(θ) dθ


    これは何を意味するかというと:

    各方向ごとに「どれだけ変化を検出できるか」を決めている



    直感的には:

    • よく区別できる方向 → 重く扱う

    • 区別しにくい方向 → 軽く扱う



    空間の“歪み”を決めている



    一番重要な一行


    Fisher情報は「距離の測り方そのもの」を定義している



    3. χ²分布との関係

    パラメータ推定を考える:

    θ̂ − θ


    これをFisher情報で測ると:

    (θ̂ − θ)ᵀ F(θ) (θ̂ − θ)



    適切に変換すると:

    z = F^(1/2)(θ)(θ̂ − θ)


    すると:

    z ∼ N(0, I)



    よって:

    zᵀz = Σ zᵢ²


    χ²分布に従う



    一番重要な一行


    χ²分布の自由度は「独立な方向の数」である



    4. t分布との関係


    t分布は次の形で現れる:

    T = (x̄ − μ) / (s / √n)


    ここで:

    • 分子 → 正規分布

    • 分母 → 分散推定(χ²分布に由来)



    重要なのは:

    分散を推定するために、1つ自由度を使っている



    自由度が1つ減る



    つまり:

    t分布の自由度 = n − 1



    一番重要な一行


    t分布の自由度は「制約を使った後に残る独立な方向の数」



    5. 全体の統一

    ここまでをまとめると:


    • 自由度 → 空間の次元

    • Fisher情報 → 各方向の重み(計量)

    • χ²分布 → 距離(二乗)の分布

    • t分布 → 距離のスケールが不確実な場合



    一番深い一行


    統計量とは「空間の中で距離をどう測るか」を表している



    6. 検定との関係

    例えばWald検定:

    (θ̂ − θ)ᵀ F(θ) (θ̂ − θ)


    χ²分布に従う(自由度 = 次元)



    t検定:

    • 1次元の距離

    • スケールが未知


    t分布になる



    7. まとめ


    • 自由度 = 独立な方向の数

    • Fisher情報 = 距離の定義

    • χ² = 距離の分布

    • t = 距離+スケールの不確実性



    最後に

    一行で言えば:

    自由度とは「距離を測る空間の次元」であり、Fisher情報はその空間の形を決めている



    この視点に立つと、

    • 検定統計量

    • 情報幾何

    • 機械学習

    がすべて同じ構造の上にあることが見えてくる。

    あなたへのおすすめ