
G検定#16|AIは間違いをどう判断? 誤差逆伝播法の仕組み
皆さん、ご安全に!! 技術屋たかちゃんです。
AIは、間違いをしたとき、どうやって自分の間違いを修正するのでしょうか。
人間なら、テストの答案を見て「ここを間違えた」と反省できます。では、何百万もの調整箇所を持つAIは、どこを直せば正解に近づくのか。
この謎を解く鍵が、誤差逆伝播法(バックプロパゲーション)です。
AIは間違いの原因をどう探す?
ニューラルネットワークは、人間の脳の神経回路を参考にした仕組みです。多数の人工ニューロンがつながり、情報を処理します。
学習では、入力されたデータから予測を出し、その予測と正解の差を計算します。この差を「誤差」と呼びます。
たとえば、AIに猫の画像を見せたとします。
AIは「犬です」と予測しました。
正解は猫です。さて、どこを修正すればよいのでしょうか。
入力画像の処理に関わった重みを一つずつ手作業で調べていたら、気の遠くなる作業になります。
そこで登場するのが誤差逆伝播法です。
誤差を逆向きにたどる
相棒のAI(アイ)君が調べたところでは、誤差逆伝播法は、出力側で計算した誤差を手がかりに、各層の重みが誤差にどれだけ影響したかを計算する方法だそうです。
ポイントは、情報を処理するときとは逆向きに計算することです。
入力層から出力層へ情報を流して予測を作り、今度は出力層から入力層へ向かって、各パラメータの修正に必要な情報を計算します。
ここで活躍するのが「連鎖律」です。
少し難しそうな名前ですが、考え方はシンプルです。複数の処理がつながっているとき、全体の変化を、それぞれの処理の変化から計算する数学のルールです。
この計算によって、どの重みをどの方向に変えれば誤差を減らせそうかが分かります。
誤差逆伝播法だけでは学習は完結しない
ここで、もう一つ重要な仕組みがあります。
誤差逆伝播法が計算するのは、各パラメータを少し変えたとき、誤差がどのように変化するかを示す「勾配」です。
実際に重みを更新する役割は、一般に「勾配降下法」などの最適化手法が担います。
勾配を参考に重みを調整し、予測の誤差を減らす。その処理を繰り返すことで、AIはデータに合った予測ができるようになります。
ところが、この計算にも弱点があります。
勾配が小さくなりすぎて、入力側の層まで十分に学習情報が届かなくなる「勾配消失問題」。
反対に、勾配が大きくなりすぎて、重みの更新が不安定になる「勾配爆発問題」です。
どちらも、深いニューラルネットワークの学習を難しくする要因になります。
AIの学習は、原因を探す技術でもある
僕は、誤差逆伝播法の考え方は、機械のトラブル対策にも通じると感じます。
設備が停止したとき、停止したという結果だけを見ても、原因は分かりません。センサーの異常なのか、制御の問題なのか、それとも機械的な故障なのか。
結果から原因をたどり、影響を調べ、適切な箇所を修正する必要があります。
AIの学習でも、出力の誤差を手がかりに、内部のパラメータがどのように影響したかを計算します。
AIが学習する仕組みを知ることは、単に数学を覚えることではありません。複雑なシステムを改善する考え方を学ぶことでもあるのです。
技術屋たかちゃんでした。ご安全に!!
G検定 連載
前回:
次回:
目次(マガジン):
G検定重要用語集
G検定対策:誤差逆伝播法の重要用語
誤差逆伝播法(バックプロパゲーション)
ニューラルネットワークの出力誤差を出力層から入力層へ逆向きに伝え、各重みが誤差に与える影響を計算する手法。連鎖律を用いて勾配を求め、誤差を小さくするように重みやバイアスを更新する。
連鎖律(チェインルール)
合成関数の微分を、構成する関数それぞれの微分の積として計算する規則。誤差逆伝播法では、出力層から入力層へ勾配を効率的に計算するための数学的基盤となる。
信用割当問題
ニューラルネットワークの出力に誤差が生じたとき、その原因を内部の各重みやパラメータにどのように割り当てるかという問題。誤差逆伝播法は、勾配を計算することで各パラメータの誤差への寄与を評価する。
勾配消失問題
誤差逆伝播で層を遡る際、勾配が小さな値の積によって極端に小さくなり、入力層に近い層の重みが十分に更新されなくなる現象。深いネットワークやシグモイド関数の使用などで発生しやすい。
勾配爆発問題
誤差逆伝播で層を遡る際、勾配が大きな値の積によって急激に増大する現象。重みの更新が不安定になり、学習が破綻することがある。勾配クリッピングなどで抑制できる場合がある。