Fisher情報が2階テンソルになる理由
— 距離(内積)としての構造からの必然 —
機械学習や統計を学んでいると、Fisher情報行列が登場する。
このとき自然に疑問が生まれる:
なぜフィッシャー情報は「行列(2階テンソル)」として現れるのか?
また、
これはL2空間だからなのか?
という疑問も出てくる。
結論から言うと、
Fisher情報が2階テンソルになる理由は、
「距離(内積)」を定義しているからであり、L2空間であることは本質ではない。
1. Fisher情報の定義
確率分布 p(x|θ) に対して、Fisher情報は次で定義される:
F(θ) = E[ (∂/∂θ log p(x|θ)) (∂/∂θ log p(x|θ))^T ]
ここで現れているのは、
勾配ベクトル同士の積
である。
一番重要な一行
Fisher情報は「ベクトルとベクトルの組み合わせ」から作られている
2. 距離(内積)との関係
Fisher情報の役割は、パラメータ空間における距離を定義することである。
具体的には:
ds^2 = dθ^T F(θ) dθ
これは、
ベクトル dθ 同士の内積
になっている。
距離を定義している
一番重要な一行
距離(内積)を定義するには、2つのベクトルを入力に取る必要がある
3. なぜ2階テンソルになるのか
ここで重要な事実がある:
「2つのベクトルを入力に取る量」は必ず2階テンソルになる
理由:
1つのベクトル → 方向
2つのベクトル → 方向と方向の関係
方向 × 方向
これを表す最も自然な形が:
行列(2階テンソル)
一番重要な一行
Fisher情報は「方向同士の関係(内積)」を定義しているため、必然的に2階テンソルになる
4. L2空間との関係
Fisher情報は、
スコア関数(log p の微分)の内積の期待値
として書ける。
これは形式的にはL2型の内積に似ている。
しかし:
L2空間であること自体が本質ではない
本質は:
内積構造を持つこと
一番重要な一行
Fisher情報は「関数空間の内積構造」をパラメータ空間に引き戻したもの
5. 幾何学的な意味
Fisher情報は、
距離を定義し
角度を定義し
空間の歪みを決める
リーマン計量
一番深い一行
Fisher情報は「確率分布の変化を測るための内積(計量)」であり、その構造上必然的に2階テンソルとして現れる
6. まとめ
Fisher情報は勾配ベクトルの積から定義される
距離(内積)を定義している
内積は2つのベクトルを入力に取る
したがって2階テンソルになる
最後に
一行で言えば:
Fisher情報が行列(2階テンソル)になるのは、「距離(内積)」を定義しているからである
この理解により、
自然勾配
情報幾何
マハラノビス距離
が同一の枠組みで理解できるようになる。