メインコンテンツへスキップ

Fisher情報が2階テンソルになる理由

    — 距離(内積)としての構造からの必然 —

    機械学習や統計を学んでいると、Fisher情報行列が登場する。

    このとき自然に疑問が生まれる:

    なぜフィッシャー情報は「行列(2階テンソル)」として現れるのか?

    また、

    これはL2空間だからなのか?

    という疑問も出てくる。

    結論から言うと、

    Fisher情報が2階テンソルになる理由は、
    「距離(内積)」を定義しているからであり、L2空間であることは本質ではない。


    1. Fisher情報の定義

    確率分布 p(x|θ) に対して、Fisher情報は次で定義される:

    F(θ) = E[ (∂/∂θ log p(x|θ)) (∂/∂θ log p(x|θ))^T ]


    ここで現れているのは、

    勾配ベクトル同士の積

    である。



    一番重要な一行


    Fisher情報は「ベクトルとベクトルの組み合わせ」から作られている



    2. 距離(内積)との関係

    Fisher情報の役割は、パラメータ空間における距離を定義することである。


    具体的には:

    ds^2 = dθ^T F(θ) dθ


    これは、

    ベクトル dθ 同士の内積

    になっている。



    距離を定義している



    一番重要な一行


    距離(内積)を定義するには、2つのベクトルを入力に取る必要がある



    3. なぜ2階テンソルになるのか

    ここで重要な事実がある:

    「2つのベクトルを入力に取る量」は必ず2階テンソルになる



    理由:

    • 1つのベクトル → 方向

    • 2つのベクトル → 方向と方向の関係



    方向 × 方向



    これを表す最も自然な形が:

    行列(2階テンソル)



    一番重要な一行


    Fisher情報は「方向同士の関係(内積)」を定義しているため、必然的に2階テンソルになる



    4. L2空間との関係

    Fisher情報は、

    スコア関数(log p の微分)の内積の期待値

    として書ける。


    これは形式的にはL2型の内積に似ている。


    しかし:

    L2空間であること自体が本質ではない



    本質は:

    内積構造を持つこと



    一番重要な一行


    Fisher情報は「関数空間の内積構造」をパラメータ空間に引き戻したもの



    5. 幾何学的な意味

    Fisher情報は、

    • 距離を定義し

    • 角度を定義し

    • 空間の歪みを決める



    リーマン計量



    一番深い一行


    Fisher情報は「確率分布の変化を測るための内積(計量)」であり、その構造上必然的に2階テンソルとして現れる



    6. まとめ


    • Fisher情報は勾配ベクトルの積から定義される

    • 距離(内積)を定義している

    • 内積は2つのベクトルを入力に取る

    • したがって2階テンソルになる



    最後に

    一行で言えば:

    Fisher情報が行列(2階テンソル)になるのは、「距離(内積)」を定義しているからである



    この理解により、

    • 自然勾配

    • 情報幾何

    • マハラノビス距離

    が同一の枠組みで理解できるようになる。

    あなたへのおすすめ