なぜFisher情報が「唯一の計量」になるのか
統計力学や機械学習、情報幾何を横断して考えていると、ある一点に収束する。
それが
「確率分布の空間における距離とは何か」
という問題である。
そして結論から言うと、
Fisher情報は、ある条件のもとで「唯一の自然な距離(計量)」になる。
ここでは、その意味をできるだけ直感的に整理する。
1. なぜ「距離」が必要なのか
機械学習では、モデル pθ を更新していく。
これは言い換えると、
確率分布の空間の中を移動している
ということになる。
このとき必要になるのが、
どちらに進むべきか
どれくらい進むべきか
を決めるための「距離」である。
2. 普通の距離が使えない理由
一見すると、
[ ||θ1 - θ2||^2 ]
のようなユークリッド距離を使えばよさそうに思える。
しかしここで問題が起きる。
例えば同じ正規分布でも、
(μ, σ) で表すこともできるし
(μ, log σ) で表すこともできる
このとき、
パラメータの取り方を変えるだけで距離が変わってしまう
これは致命的である。
3. 求めるべき距離の条件
では、どんな距離ならよいのか。
最低限、次の条件が必要になる。
分布そのものに依存する
パラメータの取り方に依らない(不変性)
滑らかに変化する
言い換えると、
表現が変わっても「同じ分布なら同じ距離」を与える
という性質が必要になる。
4. その条件を満たすものは何か
この問題に対して重要な結果が知られている。
**チェンツォフの定理(C̆encovの定理)**である。
その主張は次の通り:
上記の条件(特に不変性)を満たす計量は、
Fisher情報(定数倍を除いて)しか存在しない。
5. Fisher情報とは何か
Fisher情報は次の形で定義される:
[ F = E[(∇ log p(x))(∇ log p(x))^T] ]
これは一見すると抽象的だが、意味は明確である。
分布がどれだけ敏感に変化するか
を測っている。
6. なぜこれが自然なのか
Fisher情報は偶然出てくるわけではない。
実は次のすべてと整合する:
KLダイバージェンスの2次近似
ベイズ更新
最尤推定
自然勾配
つまり、
確率分布を扱うあらゆる操作と矛盾しない
という特徴を持つ。
7. 直感的な理解
ここまでを一言でまとめると:
Fisher情報とは「分布を見分ける能力」を測る量である
そして重要なのは:
距離を定義する
最適化をする
学習をする
これらすべてが、この量に基づいて自然に定義されるという点である。
8. まとめ
以上をまとめると:
確率分布の空間には距離が必要
その距離は表現に依らない必要がある
その条件を満たすと、Fisher情報しか残らない
最後に
一行で言えば、
Fisher情報とは「確率分布の空間における唯一の自然な内積」である
この視点に立つと、
正規分布の二次形式
KLダイバージェンス
自然勾配
さらには機械学習の最適化
がすべて同じ構造の上に乗っていることが見えてくる。