メインコンテンツへスキップ

Fisher情報はなぜさまざまな形で現れるのか

    — ナブラの定義と幾何としての本質 —

    Fisher情報は通常、次のように定義される:

    F(θ) = E[ (∇θ log p(x|θ)) (∇θ log p(x|θ))ᵀ ]


    この形を見ると、

    「勾配(ナブラ)で定義された量」

    のように見える。

    しかし実際に使われる場面では、

    • 共分散の逆行列 Σ⁻¹

    • χ²分布に現れる距離

    • KLダイバージェンスの2次近似

    • 自然勾配

    など、まったく異なる形で現れる。

    これはなぜなのか?


    1. ナブラは「変化」を見ている

    まず定義に戻ると、

    ∇θ log p(x|θ)

    は、

    パラメータを少し変えたときに分布がどう変化するか

    を表している。


    つまりFisher情報は、

    分布の「変化のしやすさ(感度)」を測っている



    一番重要な一行


    ナブラの定義は「局所的な変化」を見ているにすぎない



    2. 距離として現れる

    この局所的な情報を積み重ねると、

    次のような形になる:

    ds² = dθᵀ F(θ) dθ


    これは何を意味するかというと、

    確率分布の空間における距離

    である。


    さらに、

    KLダイバージェンスの2次近似としても現れる:

    D_KL(pθ || pθ+dθ) ≈ (1/2) dθᵀ F dθ



    Fisher情報は距離の定義になっている



    3. 特定の分布では単純な形になる

    例えば正規分布では、

    F = Σ⁻¹


    となる。


    これは、

    空間の歪み(共分散)を表す行列の逆

    である。



    「距離」が具体的な行列として現れたもの



    4. 統計量として現れる

    推定量 θ̂ を考えると、

    (θ̂ − θ)ᵀ F(θ) (θ̂ − θ)


    これは何か?


    距離の二乗



    この量は、

    χ²分布に従う



    距離を実際に測った結果



    5. 最適化では方向になる

    機械学習では、

    F⁻¹ ∇L


    が現れる。


    これは:

    距離に基づいた最も自然な下降方向



    自然勾配



    一番重要な一行(再掲)


    Fisher情報は「形」ではなく「距離という役割」で理解するべきである



    6. なぜこんなに姿を変えるのか

    理由は一つである:

    Fisher情報は計量(テンソル)だから



    テンソルの特徴:

    • 座標の取り方で見た目が変わる

    • しかし本質は同じ



    そのため、


    • ナブラ → 局所的な定義

    • KL → 距離

    • χ² → 観測値

    • Σ⁻¹ → 特殊ケース



    すべて同じものの異なる表現



    一番深い一行


    Fisher情報とは「確率分布空間の距離構造そのもの」であり、ナブラはその一つの表現にすぎない



    7. まとめ


    • ナブラ → 局所的定義

    • 距離 → 大域的な意味

    • χ² → 測定された距離

    • 自然勾配 → 距離に基づく運動



    最後に

    一行で言えば:

    Fisher情報は「微分で定義されるが、幾何として現れる量」である



    この視点に立つと、

    • 統計学

    • 情報幾何

    • 機械学習

    がすべて同じ構造の上にあることが見えてくる。

    あなたへのおすすめ