Fisher情報と自由度はどうつながるのか
— χ²分布・t分布まで一気につながる見方 —
これまで見てきたように、
Fisher情報は「距離(計量)」を定義する
χ²分布は「距離の二乗」として現れる
t分布は「スケールが不確実な距離」から現れる
ここで自然に出てくる疑問はこれである:
自由度とは何なのか?
そしてそれはFisher情報とどう関係しているのか?
結論から言うと、
自由度は「動ける独立な方向の数」であり、
Fisher情報は「その各方向でどれだけ区別できるか」を与える。
1. 自由度とは何か
自由度とは:
独立に変動できる方向の数
例えば:
k次元の正規分布
→ 自由度 = k
つまり、
自由度 = 空間の次元
一番重要な一行
自由度とは「距離を測る空間の次元」である
2. Fisher情報の役割
Fisher情報は次の形で現れる:
ds² = dθᵀ F(θ) dθ
これは何を意味するかというと:
各方向ごとに「どれだけ変化を検出できるか」を決めている
直感的には:
よく区別できる方向 → 重く扱う
区別しにくい方向 → 軽く扱う
空間の“歪み”を決めている
一番重要な一行
Fisher情報は「距離の測り方そのもの」を定義している
3. χ²分布との関係
パラメータ推定を考える:
θ̂ − θ
これをFisher情報で測ると:
(θ̂ − θ)ᵀ F(θ) (θ̂ − θ)
適切に変換すると:
z = F^(1/2)(θ)(θ̂ − θ)
すると:
z ∼ N(0, I)
よって:
zᵀz = Σ zᵢ²
χ²分布に従う
一番重要な一行
χ²分布の自由度は「独立な方向の数」である
4. t分布との関係
t分布は次の形で現れる:
T = (x̄ − μ) / (s / √n)
ここで:
分子 → 正規分布
分母 → 分散推定(χ²分布に由来)
重要なのは:
分散を推定するために、1つ自由度を使っている
自由度が1つ減る
つまり:
t分布の自由度 = n − 1
一番重要な一行
t分布の自由度は「制約を使った後に残る独立な方向の数」
5. 全体の統一
ここまでをまとめると:
自由度 → 空間の次元
Fisher情報 → 各方向の重み(計量)
χ²分布 → 距離(二乗)の分布
t分布 → 距離のスケールが不確実な場合
一番深い一行
統計量とは「空間の中で距離をどう測るか」を表している
6. 検定との関係
例えばWald検定:
(θ̂ − θ)ᵀ F(θ) (θ̂ − θ)
χ²分布に従う(自由度 = 次元)
t検定:
1次元の距離
スケールが未知
t分布になる
7. まとめ
自由度 = 独立な方向の数
Fisher情報 = 距離の定義
χ² = 距離の分布
t = 距離+スケールの不確実性
最後に
一行で言えば:
自由度とは「距離を測る空間の次元」であり、Fisher情報はその空間の形を決めている
この視点に立つと、
検定統計量
情報幾何
機械学習
がすべて同じ構造の上にあることが見えてくる。