
G検定#15|AIはどうやって正解に近づくのか? 「最適化」の仕組み
皆さん、ご安全に!! 技術屋たかちゃんです。
霧の立ち込める山道を想像してください。足元にはいくつもの坂道があり、どちらへ進めば一番低い谷底に着くのか分かりません。
実は、AIの学習もこれに似ています。
AIは最初から正解を知っているわけではありません。予測した結果と正解を比べ、間違いが小さくなる方向へ数値を調整しています。
では、AIはどうやって正解に近づいていくのでしょうか。
誤差を減らす勾配降下法
ディープラーニングでは、ニューラルネットワークの「重み」と「バイアス」を調整します。
重みは入力情報の影響度、バイアスは計算結果を調整する数値です。
予測と正解のズレを数値化したものが「損失関数」です。この値を小さくすることが学習の基本になります。
相棒のAI(アイ)君が調べたところでは、代表的な最適化手法に「勾配降下法」があり、損失関数の傾きを計算して、誤差が小さくなる方向へパラメータを更新する方法だそうです。
ここで登場するのが「学習率」です。
一度の更新で数値をどれだけ動かすかを決める、歩幅のようなものです。
歩幅が大きすぎれば谷底を飛び越えてしまう。小さすぎれば、いつまでたっても目的地に着かない。AIの学習にも、歩き方の加減があります。
局所最適解と鞍点という落とし穴
勾配降下法にも苦手な地形があります。
「局所最適解」は、周囲では最も低い場所なのに、全体を見渡すともっと低い場所が存在する状態です。
「鞍点」は、馬の鞍のような形をした地点。ある方向から見ると谷底、別の方向から見ると山頂になっています。
勾配がゼロになると、勾配降下法による更新が進みにくくなります。
相棒のAI(アイ)君が調べたところでは、高次元のニューラルネットワークでは、局所最適解よりも鞍点が学習の停滞に関係する問題として研究されているそうです。
何百万ものパラメータを扱うAIの学習。私たちが想像する山道とは、地形の複雑さがまるで違います。
学習データの分け方で計算が変わる
学習データの使い方には、主に3つの方式があります。
バッチ勾配降下法は、訓練データ全体を使って勾配を計算します。更新は比較的安定しますが、データ量が増えると計算負荷も大きくなります。
確率的勾配降下法(SGD)は、1件のデータを使って更新します。計算は軽い反面、更新方向にばらつきが生じます。
ミニバッチ勾配降下法は、データを小さなグループに分けて更新します。計算効率と安定性のバランスがよく、現在のディープラーニングで広く使われています。
G検定では、次の2つも押さえておきたい用語です。
イテレーション:パラメータを1回更新する処理。
エポック:訓練データ全体を1回学習に使い切ること。
例えば、1,000件のデータを100件ずつに分けると、10イテレーションで1エポックになります。
Adamなどの最適化手法が登場
学習を進めると、固定した学習率では効率よく更新できない場面が出てきます。そこで、さまざまな手法が開発されました。
モーメンタム:過去の更新方向を利用して、進む勢いを加える。
AdaGrad:パラメータごとに学習率を調整する。
RMSprop:AdaGradで学習率が小さくなりすぎる問題を改善する。
Adam:モーメンタムと適応的な学習率調整を組み合わせる。
Adamは多くの場面で利用されています。とはいえ、どんな問題でも最良の結果を出すわけではありません。学習するデータやモデルによって、適した手法は変わります。
AIの学習にも試行錯誤がある
学習率、バッチサイズ、エポック数、隠れ層の数など、人間が事前に設定する数値を「ハイパーパラメータ」と呼びます。
候補の組み合わせをすべて試す方法が「グリッドサーチ」。範囲内からランダムに選んで試す方法が「ランダムサーチ」です。
過学習を防ぐ「早期終了(Early Stopping)」もあります。検証データの誤差が改善しなくなった段階で学習を止める方法です。
興味深い現象に「二重降下(Double Descent)」があります。条件によっては、テスト誤差がいったん増加した後、学習を続けることで再び低下します。
もう一つ、覚えておきたいのが「ノーフリーランチの定理」です。あらゆる問題に対して万能な最適化手法は存在しないという考え方です。
僕の見解:AIの性能は調整の仕方でも変わる
僕は、AIの性能をモデルの大きさやデータ量だけで判断するのは早いと思っています。
同じデータとモデルを使っても、学習率や最適化手法によって結果は変わります。
製造機械も、モーターの出力を上げれば製品の品質がよくなるとは限りません。速度、負荷、制御条件の組み合わせで結果が変わります。
AIも同じです。
高性能なモデルを作る技術に加え、その能力を引き出す学習条件を設計する技術があります。
何度も誤差を測り、数値を少しずつ動かす。AIの学習を調べていると、最先端の技術の中に、地道な試行錯誤が見えてきます。
霧の山道を一歩ずつ下るように、AIもまた、計算を繰り返しながら答えに近づいていくのです。
技術屋たかちゃんでした。ご安全に!!
G検定 連載
前回:
次回:
目次(マガジン):
G検定重要用語集
1. 最適化の基本用語
① 損失関数(Loss Function)
AIの予測結果と正解データの誤差を数値化する関数。学習では、この値を小さくすることを目指す。損失関数には平均二乗誤差や交差エントロピー誤差などがある。
② 最適化手法(Optimizer)
損失関数を小さくするために、ニューラルネットワークの重みやバイアスを更新するアルゴリズム。SGDやAdamなどが代表例で、学習の進み方や収束性能に影響する。
③ 勾配降下法(Gradient Descent)
損失関数の勾配(傾き)を計算し、損失が小さくなる方向へパラメータを更新する方法。ディープラーニングの基本的な最適化アルゴリズムである。
④ 勾配(Gradient)
関数が各方向にどれだけ変化するかを示すベクトル。損失関数の勾配を調べることで、重みやバイアスをどちらへ動かせば誤差が減るかを判断する。
⑤ 学習率(Learning Rate)
パラメータを1回更新するときの移動量を決める値。大きすぎると最適解を通り越して収束しにくくなり、小さすぎると学習に時間がかかる。
⑥ 重み(Weight)
ニューラルネットワークで、入力情報が出力に与える影響の大きさを決める数値。学習を通じて調整され、データに含まれる特徴や関係性をモデルに反映する。
⑦ バイアス(Bias)
ニューラルネットワークの計算結果に加える調整用の数値。入力値がゼロの場合でも出力を調整できる。重みとともに学習によって最適化される。
2. 最適解と学習の停滞
⑧ 局所最適解(Local Optimum)
周囲の範囲では損失が最小になる地点。しかし、探索範囲全体ではさらに小さい値が存在する場合がある。大域的な最適解と区別して覚える。
⑨ 大域的最適解(Global Optimum)
探索対象となる範囲全体で、損失関数が最も小さくなる地点。局所最適解とは異なり、全体を通じた最小値である。
⑩ 鞍点(Saddle Point)
ある方向から見ると極小点、別の方向から見ると極大点になる地点。勾配がゼロになる場合があり、多数のパラメータを持つ深層学習で学習停滞の原因となる。
3. 学習データの使い方
⑪ バッチ勾配降下法(Batch Gradient Descent)
訓練データ全体を使って勾配を計算し、パラメータを更新する方法。勾配のばらつきが小さい反面、データ量が多いと計算負荷が大きくなる。
⑫ 確率的勾配降下法(SGD)
1件の訓練データを使って勾配を計算し、パラメータを更新する方法。更新方向にばらつきが生じるが、計算量が少なく、局所的な停滞から抜け出す助けになる場合もある。
⑬ ミニバッチ勾配降下法(Mini-batch Gradient Descent)
訓練データを小さなグループに分け、その単位で勾配を計算して更新する方法。計算効率と学習の安定性のバランスがよく、現在の深層学習で広く使われる。
⑭ イテレーション(Iteration)
パラメータを1回更新する処理の単位。ミニバッチ学習では、1つのミニバッチを使った更新が1イテレーションに相当する。
⑮ エポック(Epoch)
訓練データ全体を1回学習に使用する単位。例えば1,000件のデータを100件ずつ処理する場合、10イテレーションで1エポックとなる。
4. 代表的な最適化アルゴリズム
⑯ モーメンタム(Momentum)
過去の更新方向を利用して、現在の更新に慣性を加える手法。同じ方向への移動を加速し、振動を抑えながら学習を進めやすくする。
⑰ AdaGrad
パラメータごとに過去の勾配の二乗和を蓄積し、学習率を自動調整する手法。更新頻度の高いパラメータでは学習率が小さくなるが、長期間の学習で小さくなりすぎる問題がある。
⑱ RMSprop
AdaGradの学習率が小さくなりすぎる問題を改善した手法。過去の勾配の二乗を指数移動平均で管理し、パラメータごとの学習率を調整する。
⑲ Adam(Adaptive Moment Estimation)
モーメンタムの考え方と、RMSpropに似た適応的な学習率調整を組み合わせた最適化手法。勾配の一次モーメントと二次モーメントを利用する。
5. ハイパーパラメータと過学習対策
⑳ ハイパーパラメータ(Hyperparameter)
学習開始前などに人間が設定する学習条件のこと。学習率、バッチサイズ、エポック数、隠れ層の数などが該当する。重みやバイアスとは区別する。
㉑ グリッドサーチ(Grid Search)
あらかじめ設定したハイパーパラメータの候補値を、すべての組み合わせで検証する方法。網羅的に探索できるが、候補数が増えると計算量も急増する。
㉒ ランダムサーチ(Random Search)
指定した範囲からハイパーパラメータをランダムに選び、性能を検証する方法。すべての組み合わせを試す必要がなく、限られた計算時間で探索できる。
㉓ 早期終了(Early Stopping)
学習中に検証データの損失が改善しなくなった段階で学習を停止する方法。訓練データへの過剰な適合を防ぎ、過学習を抑制するために使われる。
㉔ 過学習(Overfitting)
モデルが訓練データに過度に適合し、新しいデータに対する予測性能が低下する現象。訓練データの誤差は小さいのに、未知のデータでは誤差が大きくなる。
㉕ 二重降下現象(Double Descent)
モデルの複雑さや学習条件を変化させたとき、テスト誤差がいったん増加した後、再び低下する現象。従来の単純な過学習の理解では説明しにくい挙動として研究されている。
㉖ ノーフリーランチの定理(No Free Lunch Theorem)
あらゆる最適化問題に対して、常に最良となる万能なアルゴリズムは存在しないという定理。ある問題で優れた手法が、別の問題でも優れるとは限らない。