Fisher情報とχ²分布の関係
— 距離・ゆらぎ・統計量がつながるところ —
これまで見てきたように、
正規分布は距離(マハラノビス距離)で定義される
χ²分布はその距離の二乗として現れる
では次の問いが自然に出てくる。
Fisher情報とは、この中でどのような役割を持っているのか?
結論から言うと、
Fisher情報は「距離の定義そのもの」であり、
χ²分布はその距離を実際に測ったときに現れる量である。
1. Fisher情報とは何か
Fisher情報は次で定義される:
F(θ) = E [ (∂/∂θ log p(x|θ))² ]
(多次元では行列になる)
これは何を意味しているかというと:
分布がパラメータに対してどれだけ敏感に変わるか
一番重要な一行
Fisher情報は「確率分布空間における距離の定義」
2. 距離としての意味
パラメータが少し変わったとき、
θ → θ + dθ
分布の変化量は:
ds² = dθᵀ F dθ
これが距離(計量)になる
3. χ²分布との接続
ここで重要なのが、
「実際に観測したデータでこの距離を測るとどうなるか?」
スコア関数:
s(x) = ∂/∂θ log p(x|θ)
このとき、
Σ s(xᵢ)²
χ²分布に従う(近似的に)
一番重要な一行(再掲)
χ²分布は「Fisher情報で定義された距離をデータで測ったもの」
4. もう少し直感的に
Fisher情報:
距離のルール
χ²分布:
実際に測った距離のばらつき
設計図と測定結果の関係
5. 正規分布との一致
正規分布では:
Fisher情報 = Σ⁻¹
距離 = xᵀ Σ⁻¹ x
これはすでにχ²分布になっている
完全一致
6. 統計学での意味
検定統計量:
尤度比検定
Wald検定
スコア検定
これらはすべて:
χ²分布に従う
理由:
Fisher情報で定義された距離を測っているから
一番深い一行
統計的検定とは「分布間の距離を測る行為」である
7. まとめ
Fisher情報 → 距離の定義
χ²分布 → 距離の測定値
正規分布 → 特別な場合
最後に
一行で言えば:
Fisher情報が「距離」を与え、χ²分布が「その距離の分布」を与える
この視点に立つと、
情報幾何
統計力学
機械学習
がすべて同じ構造の上にあることが見えてくる。