
G検定#17|AIの頭の中の構造は? 全結合層と「重み」の仕組み
皆さん、ご安全に!! 技術屋たかちゃんです。
AIは、たくさんの情報をどうやって組み合わせ、答えを導き出しているのでしょうか。
画像を見て猫だと判断したり、文章を読んで質問に答えたりするAI。その内部では、入力された情報を計算によって組み合わせる仕組みが働いています。
今回は、ディープラーニングの基本要素である「全結合層」と「重み」について、相棒のAI(アイ)君と一緒に見ていきましょう。
全結合層は情報をつなぐ計算係
全結合層は、英語で「Fully Connected Layer」や「Dense Layer」と呼ばれます。
名前のとおり、前の層にあるすべての入力ノードが、次の層にあるすべての出力ノードと接続される構造です。
ノードとは、情報を受け取って計算する小さな処理単位のこと。
例えば、3つの入力から2つの出力を計算する場合、すべての入力が2つの出力それぞれにつながります。
相棒のAI(アイ)君が調べたところでは、入力ノード数が3、出力ノード数が2の場合、重みは合計6個必要になるそうです。
さらに、出力ノードごとにバイアスという調整用の値が1個ずつ加わるそうです。
重み6個とバイアス2個。合計8個のパラメータを学習することになります。
重みは情報の影響力を調整する
ここで重要になるのが「重み」です。
重みは、それぞれの入力情報が出力にどの程度影響するかを決める数値です。
例えば、工場の設備で異常を検知するAIを考えてみましょう。
モーターの温度、振動、回転数を入力するとします。
異常の判定には、温度が強く影響する場合もあれば、振動の変化が重要になる場合もあります。
AIは学習を通じて、各入力に対応する重みを調整します。
重みが大きければ、入力の変化が出力に与える影響も大きくなります。負の重みなら、入力が増えると出力を減らす方向に働くことがあります。
ただし、重みの大きさだけで、その情報が絶対的に重要だとは判断できません。入力値の尺度や、ほかの重みとの組み合わせも関係するからです。
線形関数で入力を組み合わせる
全結合層では、入力に重みを掛けて合計し、バイアスを加えます。
基本的な式は「y=wx+b」です。
ここで、xは入力、wは重み、bはバイアスです。
バイアスは、出力を調整するための値。重みが入力の影響を調整するのに対し、バイアスは出力全体の基準をずらす役割を持ちます。
複数の入力がある場合は、それぞれの入力と重みを掛け合わせて合計します。
なお、バイアスを含むこの変換は、数学的には「アフィン変換」と呼ばれます。
僕の見解:AIの学習は調整の積み重ね
全結合層の仕組みを見ると、AIの学習は魔法ではなく、数値を調整する計算の積み重ねだと分かります。
入力を組み合わせ、出力を計算し、正解との誤差をもとに重みやバイアスを更新する。
この繰り返しによって、AIはデータに含まれるパターンを学習していきます。
ただ、全結合層を増やせば必ず賢くなるわけではありません。計算量や学習データ、ネットワーク全体の構造も重要です。
技術屋の仕事でも、装置の性能は部品一つだけでは決まりません。個々の機能と、それらの組み合わせを理解することが大切です。
AIも同じ。仕組みを一つずつ理解すれば、ブラックボックスに見えていた世界が少しずつ見えてきます。
技術屋たかちゃんでした。ご安全に!!
G検定 連載
前回:
次回:
目次(マガジン):
G検定重要用語集
1. 全結合層(Fully Connected Layer / Dense Layer)
前の層にあるすべてのノードと、次の層にあるすべてのノードを接続する層。各入力に重みを掛けて合計し、バイアスを加えることで出力を計算する。ニューラルネットワークの基本的な構成要素。
2. ノード(Node)
ニューラルネットワークにおいて、情報を受け取り、計算して次の層へ渡す処理単位。ニューロンとも呼ばれる。入力値に重みを掛けて合計し、バイアスや活性化関数を適用する場合がある。
3. 重み(Weight)
ニューラルネットワークにおいて、各入力情報が出力に与える影響を調整する数値。学習によって最適化されるパラメータの一つ。重みの正負や大きさによって、入力が出力に与える影響の方向や程度が変化する。
4. バイアス(Bias)
ニューラルネットワークにおいて、入力と重みの積の合計に加える調整用の数値。出力の基準をずらす役割を持つ。重みと同様に学習によって更新されるパラメータであり、モデルの表現力を高める。
5. パラメータ(Parameter)
ニューラルネットワークが学習によって調整する数値のこと。代表的なものに重みとバイアスがある。学習によって最適化され、モデルの予測結果に影響する。全結合層では入力ノード数と出力ノード数によって個数が決まる。
6. 線形変換(Linear Transformation)
入力ベクトルに行列を掛けることで、別のベクトルへ変換する処理。ニューラルネットワークでは、入力と重みを使って計算する。厳密には、バイアスを加えた変換は線形変換ではなく、アフィン変換に分類される。
7. アフィン変換(Affine Transformation)
線形変換にバイアスを加えた変換。ニューラルネットワークの全結合層で使われる基本的な計算で、一般に「y=Wx+b」と表される。Wは重み行列、xは入力ベクトル、bはバイアスベクトルを示す。
8. 入力層(Input Layer)
ニューラルネットワークにデータを入力する層。画像の画素値やセンサーの測定値などを受け取る。入力されたデータは、隠れ層などで処理され、最終的に出力層から予測結果が得られる。
9. 出力層(Output Layer)
ニューラルネットワークが最終的な予測結果を出す層。分類問題では各クラスの確率など、回帰問題では予測値などを出力する。問題の種類に応じて、出力層のノード数や活性化関数が異なる。
10. 隠れ層(Hidden Layer)
入力層と出力層の間に位置する層。入力データから特徴やパターンを抽出するための計算を行う。ディープラーニングでは、この隠れ層を複数重ねることで、より複雑な特徴を学習できる。
11. 重み行列(Weight Matrix)
ニューラルネットワークの入力と出力の接続に対応する重みを、行列としてまとめたもの。全結合層では、入力ノード数と出力ノード数に応じた大きさになる。複数の入力をまとめて効率よく計算するために使われる。
12. 活性化関数(Activation Function)
ニューラルネットワークの計算結果に非線形性を与える関数。ReLU関数やシグモイド関数などがある。全結合層などの線形変換の後に適用することで、複雑な関係を学習できるようにする。
G検定で押さえたい計算問題
今回の記事に登場した全結合層のパラメータ数は、G検定でも理解しておきたいポイントです。
パラメータ数の計算式
\[ パラメータ数=(入力数\times 出力数)+出力数 \]
最後の「+出力数」は、各出力ノードにバイアスが1個ずつあるためです。
今回の記事の例では、
入力ノード:3個
出力ノード:2個
重み:3×2=6個
バイアス:2個
したがって、
となります。