
G検定#14|AIは間違いをどうやって減らす?「誤差」と「正則化」
皆さん、ご安全に!! 技術屋たかちゃんです。
試験問題を何度も解き、答えを丸暗記した学生がいる。過去問なら満点。ところが、問題の出し方を少し変えられると、途端に答えられなくなる。
実は、AIにも同じような現象が起きる。
大量のデータを学習し、正解率が高くなったはずなのに、初めて見るデータでは間違いが増える。ディープラーニングには、こんな困った性質がある。
今回は、AIが間違いを減らす仕組みと、勉強しすぎを防ぐ方法を見ていこう。
AIは自分の間違いをどう測る?
ニューラルネットワークは、入力されたデータから予測や判定を行う。その精度を高めるため、内部の重みとバイアスという数値を調整していく。
ここで使われるのが誤差関数(損失関数)だ。
予測値と正解の差を数値化し、その値が小さくなるように学習を進める。
代表的なものは二つ。
平均二乗誤差(MSE)は、予測値と正解値の差を二乗して平均したもの。売上予測や気温予測などの回帰問題で使われる。誤差を二乗するため、大きな間違いには強く反応する。
交差エントロピーは、予測した確率と正解ラベルの関係を評価する損失関数だ。画像認識や迷惑メール判定などの分類問題でよく使われる。
猫の写真を見せたとき、AIが猫である確率を90%と予測すれば正解に近い。犬である確率を90%と予測すれば、大きな損失が発生する。
AIにも採点表があるわけだ。
顔認証ではデータ同士の距離を測る
顔認証では、同じ人物の顔写真を近くに、別人の顔写真を遠くに配置するように学習させる方法がある。これを深層距離学習という。
代表的な手法は二つある。
コントラスティブロス:二つのデータを比較し、似たデータは近く、異なるデータは遠くなるように学習する。
トリプレットロス:基準となるデータ、同じ人物のデータ、別人のデータという三つを比較する。
AIはデータを分類するだけでなく、データ同士の関係も学習している。
AIにも「覚えすぎ」を防ぐ仕組みがある
過去の問題を完璧に覚えても、応用問題に対応できなければ実力があるとはいえない。
AIで起きるこの現象を**過学習(過適合)**と呼ぶ。訓練データに過剰に適合し、未知のデータに対する予測性能が低下する状態だ。
これを抑える方法が正則化である。
代表的な手法を整理しておこう。
L0正則化:ゼロではない重みの個数をペナルティにする。最適化が難しく、一般的な学習では扱いにくい。
L1正則化:重みの絶対値の合計にペナルティを加える。一部の重みをゼロにできる。Lasso回帰に使われる。
L2正則化:重みの二乗の合計にペナルティを加える。重みを全体的に小さく抑える。Ridge回帰に使われる。
ElasticNet:L1とL2を組み合わせた手法。
もう一つ、ドロップアウトもある。
学習中に一部のニューロンをランダムに無効化する。特定のニューロンに頼りすぎることを防ぎ、過学習を抑える働きがある。
AIの実力は初めての問題で分かる
相棒のAI(アイ)君が調べたところでは、生成AIの学習やモデルの調整では、KL情報量という確率分布の違いを測る尺度も使われるそうです。
二つの確率分布が完全に一致すれば値は0になるそうです。比較する順番によって値が変わる非対称な尺度らしいです。
僕が面白いと思うのは、AIの学習が単純な正解探しではないことだ。
訓練データの正解率を上げるだけなら、丸暗記でも達成できる。実際に使うAIには、初めて出会う画像や文章、予想外の条件に対応する力が必要になる。
工場の検査装置を考えてみよう。学習した製品の傷は見つけられても、照明の角度が少し変わっただけで見逃すなら、現場では使いにくい。
僕なら、そんなAIを見て「本当に勉強したのか?」と聞きたくなる。
訓練データの正解率は高い。けれど、初めての問題には弱い。
人間の勉強もAIの学習も、答えを覚えるだけでは済まないらしい。
技術屋たかちゃんでした。ご安全に!!
G検定 連載
前回:
次回:
目次(マガジン):
G検定重要用語集
1. 誤差関数・損失関数
① 誤差関数(Loss Function)
ニューラルネットワークの予測値と正解値の差を数値化する関数。学習では、この値が小さくなるように重みとバイアスを調整する。損失関数とも呼ばれる。
② 平均二乗誤差(MSE:Mean Squared Error)
予測値と正解値の差を二乗し、その平均を求める誤差関数。主に回帰問題で使用される。誤差を二乗するため、大きな誤差ほど強く評価される。
③ 交差エントロピー(Cross Entropy)
予測した確率分布と正解ラベルの関係を評価する損失関数。主に分類問題で使用される。正解クラスに高い確率を割り当てるほど損失が小さくなる。
④ 回帰問題(Regression)
入力データから連続した数値を予測する問題。売上、気温、住宅価格などの予測が代表例。平均二乗誤差(MSE)などを損失関数として使用する。
⑤ 分類問題(Classification)
入力データがどのカテゴリーに属するかを判定する問題。画像の犬・猫判定や迷惑メールの分類などが代表例。交差エントロピーがよく使用される。
2. 深層距離学習
⑥ 深層距離学習(Deep Metric Learning)
ニューラルネットワークを使い、データ同士の類似度や距離を学習する手法。同じ種類のデータは近く、異なる種類のデータは遠くなるように特徴空間を調整する。顔認証などに利用される。
⑦ コントラスティブロス(Contrastive Loss)
二つのデータを比較し、同じクラスのデータは近づけ、異なるクラスのデータは離すように学習する損失関数。顔認証や画像検索など、類似性の判定に利用される。
⑧ トリプレットロス(Triplet Loss)
基準データ(Anchor)、同じクラスのデータ(Positive)、異なるクラスのデータ(Negative)の三つを比較する損失関数。基準データとPositiveの距離を縮め、Negativeとの距離を広げる。
3. 過学習と正則化
⑨ 過学習(Overfitting)
訓練データに過剰に適合し、訓練データでは高い精度を示すものの、未知のデータでは予測精度が低下する現象。モデルがデータの特徴だけでなく、ノイズまで覚えてしまうことが原因となる。
⑩ 正則化(Regularization)
過学習を抑制し、未知のデータに対する予測性能を高めるための手法。損失関数にペナルティ項を加える方法などがある。代表例としてL1正則化とL2正則化がある。
⑪ L0正則化
重みのうち、ゼロではないパラメータの個数をペナルティとする正則化手法。不要な重みを減らす効果があるが、組み合わせ最適化に近い問題となり、計算が難しい。
⑫ L1正則化(L1 Regularization)
重みの絶対値の合計をペナルティとして損失関数に加える手法。一部の重みを完全にゼロにするスパース化の効果がある。不要な特徴量の削減にも利用される。
⑬ L2正則化(L2 Regularization)
重みの二乗の合計をペナルティとして損失関数に加える手法。重みを全体的に小さく抑え、過学習を防ぐ。一般に重みを完全なゼロにする効果はL1より弱い。
⑭ Lasso回帰(ラッソ回帰)
線形回帰にL1正則化を組み込んだ回帰手法。不要な特徴量に対応する係数をゼロにできるため、特徴量選択やモデルの簡素化に利用される。
⑮ Ridge回帰(リッジ回帰)
線形回帰にL2正則化を組み込んだ回帰手法。各特徴量に対応する係数を全体的に小さくし、過学習を抑える。多重共線性への対処にも利用される。
⑯ ElasticNet(エラスティックネット)
L1正則化とL2正則化を組み合わせた回帰手法。Lassoの特徴量選択能力とRidgeの係数縮小効果を併せ持つ。相関の強い特徴量が複数ある場合にも利用される。
⑰ ドロップアウト(Dropout)
ニューラルネットワークの学習時に、一部のニューロンをランダムに無効化する手法。特定のニューロンへの過度な依存を防ぎ、過学習を抑制する。通常、推論時には無効化しない。
4. 確率分布に関する用語
⑱ KL情報量(Kullback-Leibler Divergence)
二つの確率分布の違いを測る尺度。カルバック・ライブラー情報量とも呼ばれる。値は0以上で、分布が一致すると0になる。比較する順序によって値が変わる非対称な尺度である。