メインコンテンツへスキップ

なぜFisher情報が「唯一の計量」になるのか

    統計力学や機械学習、情報幾何を横断して考えていると、ある一点に収束する。

    それが
    「確率分布の空間における距離とは何か」
    という問題である。

    そして結論から言うと、

    Fisher情報は、ある条件のもとで「唯一の自然な距離(計量)」になる。

    ここでは、その意味をできるだけ直感的に整理する。


    1. なぜ「距離」が必要なのか

    機械学習では、モデル pθ を更新していく。

    これは言い換えると、

    確率分布の空間の中を移動している

    ということになる。

    このとき必要になるのが、

    • どちらに進むべきか

    • どれくらい進むべきか

    を決めるための「距離」である。


    2. 普通の距離が使えない理由

    一見すると、

    [ ||θ1 - θ2||^2 ]

    のようなユークリッド距離を使えばよさそうに思える。

    しかしここで問題が起きる。

    例えば同じ正規分布でも、

    • (μ, σ) で表すこともできるし

    • (μ, log σ) で表すこともできる

    このとき、

    パラメータの取り方を変えるだけで距離が変わってしまう

    これは致命的である。


    3. 求めるべき距離の条件

    では、どんな距離ならよいのか。

    最低限、次の条件が必要になる。

    • 分布そのものに依存する

    • パラメータの取り方に依らない(不変性)

    • 滑らかに変化する

    言い換えると、

    表現が変わっても「同じ分布なら同じ距離」を与える

    という性質が必要になる。


    4. その条件を満たすものは何か

    この問題に対して重要な結果が知られている。

    **チェンツォフの定理(C̆encovの定理)**である。

    その主張は次の通り:

    上記の条件(特に不変性)を満たす計量は、
    Fisher情報(定数倍を除いて)しか存在しない。


    5. Fisher情報とは何か

    Fisher情報は次の形で定義される:

    [ F = E[(∇ log p(x))(∇ log p(x))^T] ]

    これは一見すると抽象的だが、意味は明確である。

    分布がどれだけ敏感に変化するか

    を測っている。


    6. なぜこれが自然なのか

    Fisher情報は偶然出てくるわけではない。

    実は次のすべてと整合する:

    • KLダイバージェンスの2次近似

    • ベイズ更新

    • 最尤推定

    • 自然勾配

    つまり、

    確率分布を扱うあらゆる操作と矛盾しない

    という特徴を持つ。


    7. 直感的な理解

    ここまでを一言でまとめると:

    Fisher情報とは「分布を見分ける能力」を測る量である


    そして重要なのは:

    • 距離を定義する

    • 最適化をする

    • 学習をする

    これらすべてが、この量に基づいて自然に定義されるという点である。


    8. まとめ

    以上をまとめると:

    • 確率分布の空間には距離が必要

    • その距離は表現に依らない必要がある

    • その条件を満たすと、Fisher情報しか残らない


    最後に

    一行で言えば、

    Fisher情報とは「確率分布の空間における唯一の自然な内積」である


    この視点に立つと、

    • 正規分布の二次形式

    • KLダイバージェンス

    • 自然勾配

    • さらには機械学習の最適化

    がすべて同じ構造の上に乗っていることが見えてくる。

    あなたへのおすすめ