Fisher情報はなぜさまざまな形で現れるのか
— ナブラの定義と幾何としての本質 —
Fisher情報は通常、次のように定義される:
F(θ) = E[ (∇θ log p(x|θ)) (∇θ log p(x|θ))ᵀ ]
この形を見ると、
「勾配(ナブラ)で定義された量」
のように見える。
しかし実際に使われる場面では、
共分散の逆行列 Σ⁻¹
χ²分布に現れる距離
KLダイバージェンスの2次近似
自然勾配
など、まったく異なる形で現れる。
これはなぜなのか?
1. ナブラは「変化」を見ている
まず定義に戻ると、
∇θ log p(x|θ)
は、
パラメータを少し変えたときに分布がどう変化するか
を表している。
つまりFisher情報は、
分布の「変化のしやすさ(感度)」を測っている
一番重要な一行
ナブラの定義は「局所的な変化」を見ているにすぎない
2. 距離として現れる
この局所的な情報を積み重ねると、
次のような形になる:
ds² = dθᵀ F(θ) dθ
これは何を意味するかというと、
確率分布の空間における距離
である。
さらに、
KLダイバージェンスの2次近似としても現れる:
D_KL(pθ || pθ+dθ) ≈ (1/2) dθᵀ F dθ
Fisher情報は距離の定義になっている
3. 特定の分布では単純な形になる
例えば正規分布では、
F = Σ⁻¹
となる。
これは、
空間の歪み(共分散)を表す行列の逆
である。
「距離」が具体的な行列として現れたもの
4. 統計量として現れる
推定量 θ̂ を考えると、
(θ̂ − θ)ᵀ F(θ) (θ̂ − θ)
これは何か?
距離の二乗
この量は、
χ²分布に従う
距離を実際に測った結果
5. 最適化では方向になる
機械学習では、
F⁻¹ ∇L
が現れる。
これは:
距離に基づいた最も自然な下降方向
自然勾配
一番重要な一行(再掲)
Fisher情報は「形」ではなく「距離という役割」で理解するべきである
6. なぜこんなに姿を変えるのか
理由は一つである:
Fisher情報は計量(テンソル)だから
テンソルの特徴:
座標の取り方で見た目が変わる
しかし本質は同じ
そのため、
ナブラ → 局所的な定義
KL → 距離
χ² → 観測値
Σ⁻¹ → 特殊ケース
すべて同じものの異なる表現
一番深い一行
Fisher情報とは「確率分布空間の距離構造そのもの」であり、ナブラはその一つの表現にすぎない
7. まとめ
ナブラ → 局所的定義
距離 → 大域的な意味
χ² → 測定された距離
自然勾配 → 距離に基づく運動
最後に
一行で言えば:
Fisher情報は「微分で定義されるが、幾何として現れる量」である
この視点に立つと、
統計学
情報幾何
機械学習
がすべて同じ構造の上にあることが見えてくる。