メインコンテンツへスキップ
見出し画像
Photo bydreamy_boar9935

G検定#20|AIは何の画像を残し何を捨てる?オートエンコーダーの特徴

    皆さん、ご安全に!技術屋たかちゃんです。

    一枚の猫の写真を見てください。

    目、耳、鼻、毛並み。写真には膨大な数の画素が並んでいます。この写真を、ほんの少しの数値に置き換えて、あとから猫の姿を再現できるとしたら、どうでしょう。

    画像を小さくするだけなら簡単です。難しいのは、情報を減らしながら猫らしさを残すこと。

    実は、これを実現するニューラルネットワークがあります。「オートエンコーダー」、日本語では自己符号化器と呼ばれる技術です。

    入力したデータを自分で復元する

    相棒のAI(アイ)君が調べたところでは、オートエンコーダーは、正解ラベルを使わずにデータの特徴を学習する教師なし学習の代表的な手法だそうです。

    構造は大きく二つに分かれます。

    前半の「エンコーダー」は、入力された画像やデータを圧縮し、特徴を少数の数値に変換します。

    この数値の集まりが「潜在ベクトル」です。

    後半の「デコーダー」は、圧縮された数値を使って元のデータを復元します。

    学習では、入力した画像と復元した画像を比較します。両者の差を「再構成誤差」と呼び、この誤差が小さくなるようにネットワークの重みを調整します。

    人間が一枚ずつ正解ラベルを付ける必要はありません。入力したデータそのものが、復元の目標になるからです。

    なぜ圧縮するのか? PCAとの違い

    代表的な用途が「次元削減」です。

    例えば、縦100ピクセル、横100ピクセルの白黒画像には、1万個の画素情報があります。

    この情報を少ない数値で表現できれば、データの特徴を扱いやすくなります。

    従来から使われている手法にPCA(主成分分析)があります。データのばらつきが大きい方向を見つけ、少ない次元で表現する統計的手法です。

    PCAは基本的に線形変換を使います。オートエンコーダーはニューラルネットワークによる非線形変換が可能です。

    曲線的で複雑な関係を持つデータも学習できます。

    深層学習を支えた事前学習

    オートエンコーダーには、もう一つの役割があります。「事前学習」です。

    ニューラルネットワークを深くすると、学習が難しくなる問題がありました。

    代表例が勾配消失です。学習に使う誤差の情報が、前の層へ伝わる途中で小さくなり、重みをうまく調整できなくなる現象です。

    そこで、ラベルのないデータを使い、あらかじめ各層の特徴を学習させる方法が研究されました。

    富士山登山に例えるなら、麓から登るのではなく、五合目から出発するようなものです。

    2006年、ジェフリー・ヒントンらは、積層RBM(制限付きボルツマンマシン)による事前学習と、深いオートエンコーダーを使った次元削減を発表しました。

    各層で特徴を学習し、ネットワーク全体を組み立ててから微調整する方法です。

    現在は別の学習技術も広く使われていますが、深層学習の発展をたどるうえで外せない技術です。

    画像を復元できても、新しい画像は苦手?

    ここからが面白いところです。

    通常のオートエンコーダーは、入力したデータを復元するように学習します。ところが、潜在空間のすべての場所が、意味のあるデータに対応するよう保証されているわけではありません。

    テレビのチャンネルを思い浮かべてください。

    放送局に周波数を合わせれば映像が映ります。チャンネルとチャンネルの間に合わせると、ザーッという砂嵐が出る。

    通常のオートエンコーダーで、学習データの中間にある適当な数値を取り出しても、自然な画像になるとは限らないのです。

    VAEは潜在空間を確率分布で整える

    この問題に取り組んだ技術が「変分オートエンコーダー(VAE)」です。

    2013年、Diederik KingmaとMax Wellingが発表しました。

    通常のオートエンコーダーでは、入力データを特定の数値ベクトルに変換します。

    VAEでは、潜在変数を一点の数値ではなく、確率分布として表現します。

    基本的な構成では、エンコーダーが平均と分散を出力し、その分布から潜在変数をサンプリングします。学習では、潜在分布を標準正規分布に近づけるよう調整します。

    ここで使う損失関数は二つの要素で構成されます。

    • 再構成誤差:元のデータをどれだけ正確に復元できたか。

    • KLダイバージェンス:潜在分布と基準となる確率分布が、どれくらい異なるかを測る指標。

    この二つを組み合わせて学習します。

    潜在空間が整理されることで、そこから新しい数値をサンプリングし、画像などのデータを生成できるようになります。

    VAEには派生手法もあります。

    • β-VAE:KLダイバージェンスの重みを調整し、特徴を分離して表現することを狙う手法。

    • InfoVAE:潜在変数が入力データの情報を適切に保持できるよう、学習目的を調整する手法。

    • VQ-VAE:潜在変数を連続値ではなく、コードブックと呼ばれる辞書から選ぶ離散値で表現する手法。

    AIは何を残し、何を捨てるのか

    オートエンコーダーを勉強していて、僕が面白いと感じたのは、情報を圧縮する過程です。

    猫の写真を小さな数値に変換するとき、毛並みの一本一本まで完全に記録する必要はありません。目や耳、顔の形など、猫を再現するための特徴を学習します。

    人間の記憶にも似たところがあります。

    旅行から帰ってきても、見た景色のすべてを覚えているわけではありません。潮の匂い、夕暮れの海、友人の笑い声。断片的な記憶が残っています。

    AIの場合は、その特徴を数値として表現し、再構成や生成に利用します。

    G検定では、基本構造、再構成誤差、次元削減、事前学習、VAEの確率分布と損失関数。この流れを押さえておきたいところです。

    情報を圧縮するという、一見単純な仕組みを追いかけていたら、最後には「何を残すと、そのものらしさが保たれるのか」という問題に行き着きました。

    猫の写真一枚にも、なかなか奥深い話が隠れているものです。

    技術屋たかちゃんでした。ご安全に!!


    G検定 連載
    前回:

    次回:

    目次


    G検定重要用語集:オートエンコーダー・VAE

    1. オートエンコーダーの基本構造

    ① オートエンコーダー(Autoencoder・自己符号化器)

    入力データを一度圧縮し、そのデータを再構成するニューラルネットワーク。入力データと出力データの誤差を小さくするように学習する。次元削減、特徴抽出、異常検知などに利用される。

    ② エンコーダー(Encoder・符号化器)

    入力データを受け取り、重要な特徴を抽出して低次元の潜在表現に変換するネットワーク。画像などの大量の情報を、少数の数値で表現する役割を持つ。

    ③ デコーダー(Decoder・復号化器)

    エンコーダーが圧縮した潜在表現を受け取り、元の入力データに近い形へ復元するネットワーク。再構成誤差を小さくするように学習する。

    ④ 潜在空間(Latent Space)

    入力データから抽出された特徴を表現する低次元の空間。画像や音声などのデータが数値ベクトルとして配置される。類似した特徴を持つデータが近い位置に表現されることがある。

    ⑤ 潜在ベクトル(Latent Vector)

    エンコーダーによって生成される、データの特徴を圧縮した数値の集まり。元の画像を再構成するための情報を保持する。潜在空間における個々のデータの位置を表す。

    ⑥ 再構成(Reconstruction)

    圧縮された潜在表現から、元の入力データに近いデータを生成する処理。オートエンコーダーでは、入力画像と復元画像を比較し、その誤差を小さくするように学習する。

    ⑦ 再構成誤差(Reconstruction Error)

    入力データと復元されたデータの差を数値化したもの。平均二乗誤差(MSE)などで計算する。オートエンコーダーの学習では、この誤差を小さくすることが基本的な目的となる。

    ⑧ 次元削減(Dimensionality Reduction)

    大量の特徴量を、できるだけ情報を保ちながら少ない次元に圧縮する技術。データの可視化、計算量の削減、特徴抽出などに利用される。PCAやオートエンコーダーが代表的な手法である。

    2. 関連する機械学習の手法

    ⑨ PCA(Principal Component Analysis・主成分分析)

    データの分散が大きくなる方向を主成分として求め、少ない次元でデータを表現する統計的手法。基本的に線形変換を利用する。オートエンコーダーとの違いは、非線形な特徴表現を学習できるかどうかにある。

    ⑩ 線形変換(Linear Transformation)

    入力データに対して、行列による計算などを行い、別の表現に変換する処理。PCAは線形変換を基本とする。一方、ニューラルネットワークは活性化関数などを組み合わせることで非線形な変換を実現できる。

    ⑪ 非線形変換(Nonlinear Transformation)

    入力と出力の関係が単純な比例関係では表せない変換。ニューラルネットワークでは、活性化関数を組み合わせて複雑な特徴を学習する。通常のオートエンコーダーは非線形なデータ構造も表現できる。

    ⑫ 事前学習(Pre-training)

    本格的な学習や微調整を行う前に、別の学習方法でネットワークの初期パラメータを獲得する手法。ラベルのないデータを利用することもある。深層学習の初期の発展に重要な役割を果たした。

    ⑬ 勾配消失問題(Vanishing Gradient Problem)

    誤差逆伝播法で勾配が入力側の層へ伝わるにつれて小さくなり、重みの更新が困難になる現象。特に深いネットワークの学習で問題となった。活性化関数やネットワーク構造の工夫などで対策する。

    ⑭ RBM(Restricted Boltzmann Machine・制限付きボルツマンマシン)

    可視層と隠れ層の2層から構成される確率的なニューラルネットワーク。各層の内部には接続がなく、異なる層のユニット間で接続する。特徴学習や深層学習の事前学習に利用された。

    ⑮ 積層RBM(Stacked RBM)

    複数のRBMを積み重ね、段階的に特徴を学習する構造。各層で学習した特徴を次の層に渡すことで、複雑な特徴表現を獲得する。2006年の深層学習の発展に関係する重要な技術である。

    3. 変分オートエンコーダー(VAE)

    ⑯ VAE(Variational Autoencoder・変分オートエンコーダー)

    潜在変数を確率分布として表現する生成モデル。エンコーダーが平均と分散を推定し、その分布から潜在変数をサンプリングする。KLダイバージェンスなどを使って潜在空間を整え、新しい画像などを生成できる。

    ⑰ 潜在変数(Latent Variable)

    観測データの背後に存在すると仮定する、直接観測できない変数。VAEでは画像などの特徴を確率的な潜在変数で表現する。この変数をサンプリングすることで、新しいデータを生成できる。

    ⑱ 確率分布(Probability Distribution)

    ある変数がどのような値を、どの程度の確率で取るかを表すもの。VAEでは潜在変数を確率分布として扱う。平均や分散によって分布の位置や広がりを表現する。

    ⑲ サンプリング(Sampling)

    確率分布に従って数値を取り出す処理。VAEでは、エンコーダーが推定した潜在分布から潜在変数をサンプリングし、デコーダーに入力することで新しいデータを生成する。

    ⑳ 平均(Mean・μ)

    VAEのエンコーダーが出力する潜在分布の中心を表す数値。潜在変数がどのあたりに分布するかを決める。分散と組み合わせて、潜在変数をサンプリングするために利用する。

    ㉑ 分散(Variance・σ²)

    確率分布におけるデータのばらつきの大きさを表す数値。VAEでは潜在分布の広がりを表現する。平均とともにエンコーダーが推定し、潜在変数のサンプリングに利用する。

    ㉒ KLダイバージェンス(Kullback-Leibler Divergence)

    二つの確率分布がどの程度異なるかを測る指標。VAEでは、学習によって得られた潜在分布を標準正規分布などの事前分布に近づけるために使用する。値が小さいほど分布の差が小さい。

    ㉓ 標準正規分布(Standard Normal Distribution)

    平均が0、分散が1の正規分布。VAEでは潜在変数の分布を整えるための事前分布としてよく利用される。潜在空間から新しい値をサンプリングする際の基準となる。

    ㉔ 損失関数(Loss Function)

    AIの予測結果と目標との差を数値化する関数。学習では損失関数の値を小さくするように重みを調整する。VAEでは再構成誤差とKLダイバージェンスを組み合わせて使用する。

    4. VAEの派生モデル

    ㉕ β-VAE(ベータ・ブイエーイー)

    VAEの損失関数に含まれるKLダイバージェンスにβという重みを付けたモデル。βの値を調整することで、潜在変数が異なる特徴を分離して表現することを狙う。説明可能な特徴表現の研究などに利用される。

    ㉖ InfoVAE(Information Maximizing Variational Autoencoder)

    通常のVAEの学習目的を拡張し、潜在変数が入力データの情報を適切に保持できるように設計されたモデル。潜在表現の質やデータ生成の性能を改善することを目的とする。

    ㉗ VQ-VAE(Vector Quantized Variational Autoencoder)

    潜在表現を連続値ではなく、コードブックと呼ばれる辞書から選択した離散的なベクトルで表現する生成モデル。画像や音声などのデータを離散的な潜在表現に変換する技術として利用される。

    ㉘ コードブック(Codebook)

    VQ-VAEで使用する、あらかじめ学習されたベクトルの集合。エンコーダーが出力した潜在表現に最も近いベクトルを選択し、離散的な表現に変換するために使用する。

     
     
    ご安全に!技術屋たかちゃんです! 「これって実際どうなの?」という日常の疑問を、エンジニアの視点で相棒のAI(アイ)君と一緒に調べて、3つのテーマ(AI、安全、暮らしの技術) をわかりやすく解説しています。技術や社会の仕組みを知ると世の中の見え方が少し変わるかもしれません。

    あなたへのおすすめ