メインコンテンツへスキップ
見出し画像
Photo bydreamy_boar9935

G検定#14|AIは間違いをどうやって減らす?「誤差」と「正則化」

    皆さん、ご安全に!! 技術屋たかちゃんです。

    試験問題を何度も解き、答えを丸暗記した学生がいる。過去問なら満点。ところが、問題の出し方を少し変えられると、途端に答えられなくなる。

    実は、AIにも同じような現象が起きる。

    大量のデータを学習し、正解率が高くなったはずなのに、初めて見るデータでは間違いが増える。ディープラーニングには、こんな困った性質がある。

    今回は、AIが間違いを減らす仕組みと、勉強しすぎを防ぐ方法を見ていこう。

    AIは自分の間違いをどう測る?

    ニューラルネットワークは、入力されたデータから予測や判定を行う。その精度を高めるため、内部の重みとバイアスという数値を調整していく。

    ここで使われるのが誤差関数(損失関数)だ。

    予測値と正解の差を数値化し、その値が小さくなるように学習を進める。

    代表的なものは二つ。

    平均二乗誤差(MSE)は、予測値と正解値の差を二乗して平均したもの。売上予測や気温予測などの回帰問題で使われる。誤差を二乗するため、大きな間違いには強く反応する。

    交差エントロピーは、予測した確率と正解ラベルの関係を評価する損失関数だ。画像認識や迷惑メール判定などの分類問題でよく使われる。

    猫の写真を見せたとき、AIが猫である確率を90%と予測すれば正解に近い。犬である確率を90%と予測すれば、大きな損失が発生する。

    AIにも採点表があるわけだ。

    顔認証ではデータ同士の距離を測る

    顔認証では、同じ人物の顔写真を近くに、別人の顔写真を遠くに配置するように学習させる方法がある。これを深層距離学習という。

    代表的な手法は二つある。

    • コントラスティブロス:二つのデータを比較し、似たデータは近く、異なるデータは遠くなるように学習する。

    • トリプレットロス:基準となるデータ、同じ人物のデータ、別人のデータという三つを比較する。

    AIはデータを分類するだけでなく、データ同士の関係も学習している。

    AIにも「覚えすぎ」を防ぐ仕組みがある

    過去の問題を完璧に覚えても、応用問題に対応できなければ実力があるとはいえない。

    AIで起きるこの現象を**過学習(過適合)**と呼ぶ。訓練データに過剰に適合し、未知のデータに対する予測性能が低下する状態だ。

    これを抑える方法が正則化である。

    代表的な手法を整理しておこう。

    • L0正則化:ゼロではない重みの個数をペナルティにする。最適化が難しく、一般的な学習では扱いにくい。

    • L1正則化:重みの絶対値の合計にペナルティを加える。一部の重みをゼロにできる。Lasso回帰に使われる。

    • L2正則化:重みの二乗の合計にペナルティを加える。重みを全体的に小さく抑える。Ridge回帰に使われる。

    • ElasticNet:L1とL2を組み合わせた手法。

    もう一つ、ドロップアウトもある。

    学習中に一部のニューロンをランダムに無効化する。特定のニューロンに頼りすぎることを防ぎ、過学習を抑える働きがある。

    AIの実力は初めての問題で分かる

    相棒のAI(アイ)君が調べたところでは、生成AIの学習やモデルの調整では、KL情報量という確率分布の違いを測る尺度も使われるそうです。

    二つの確率分布が完全に一致すれば値は0になるそうです。比較する順番によって値が変わる非対称な尺度らしいです。

    僕が面白いと思うのは、AIの学習が単純な正解探しではないことだ。

    訓練データの正解率を上げるだけなら、丸暗記でも達成できる。実際に使うAIには、初めて出会う画像や文章、予想外の条件に対応する力が必要になる。

    工場の検査装置を考えてみよう。学習した製品の傷は見つけられても、照明の角度が少し変わっただけで見逃すなら、現場では使いにくい。

    僕なら、そんなAIを見て「本当に勉強したのか?」と聞きたくなる。

    訓練データの正解率は高い。けれど、初めての問題には弱い。

    人間の勉強もAIの学習も、答えを覚えるだけでは済まないらしい。

    技術屋たかちゃんでした。ご安全に!!


    G検定 連載
    前回:

    次回:

    目次(マガジン):



    G検定重要用語集

    1. 誤差関数・損失関数

    ① 誤差関数(Loss Function)

    ニューラルネットワークの予測値と正解値の差を数値化する関数。学習では、この値が小さくなるように重みとバイアスを調整する。損失関数とも呼ばれる。

    ② 平均二乗誤差(MSE:Mean Squared Error)

    予測値と正解値の差を二乗し、その平均を求める誤差関数。主に回帰問題で使用される。誤差を二乗するため、大きな誤差ほど強く評価される。

    ③ 交差エントロピー(Cross Entropy)

    予測した確率分布と正解ラベルの関係を評価する損失関数。主に分類問題で使用される。正解クラスに高い確率を割り当てるほど損失が小さくなる。

    ④ 回帰問題(Regression)

    入力データから連続した数値を予測する問題。売上、気温、住宅価格などの予測が代表例。平均二乗誤差(MSE)などを損失関数として使用する。

    ⑤ 分類問題(Classification)

    入力データがどのカテゴリーに属するかを判定する問題。画像の犬・猫判定や迷惑メールの分類などが代表例。交差エントロピーがよく使用される。

    2. 深層距離学習

    ⑥ 深層距離学習(Deep Metric Learning)

    ニューラルネットワークを使い、データ同士の類似度や距離を学習する手法。同じ種類のデータは近く、異なる種類のデータは遠くなるように特徴空間を調整する。顔認証などに利用される。

    ⑦ コントラスティブロス(Contrastive Loss)

    二つのデータを比較し、同じクラスのデータは近づけ、異なるクラスのデータは離すように学習する損失関数。顔認証や画像検索など、類似性の判定に利用される。

    ⑧ トリプレットロス(Triplet Loss)

    基準データ(Anchor)、同じクラスのデータ(Positive)、異なるクラスのデータ(Negative)の三つを比較する損失関数。基準データとPositiveの距離を縮め、Negativeとの距離を広げる。

    3. 過学習と正則化

    ⑨ 過学習(Overfitting)

    訓練データに過剰に適合し、訓練データでは高い精度を示すものの、未知のデータでは予測精度が低下する現象。モデルがデータの特徴だけでなく、ノイズまで覚えてしまうことが原因となる。

    ⑩ 正則化(Regularization)

    過学習を抑制し、未知のデータに対する予測性能を高めるための手法。損失関数にペナルティ項を加える方法などがある。代表例としてL1正則化とL2正則化がある。

    ⑪ L0正則化

    重みのうち、ゼロではないパラメータの個数をペナルティとする正則化手法。不要な重みを減らす効果があるが、組み合わせ最適化に近い問題となり、計算が難しい。

    ⑫ L1正則化(L1 Regularization)

    重みの絶対値の合計をペナルティとして損失関数に加える手法。一部の重みを完全にゼロにするスパース化の効果がある。不要な特徴量の削減にも利用される。

    ⑬ L2正則化(L2 Regularization)

    重みの二乗の合計をペナルティとして損失関数に加える手法。重みを全体的に小さく抑え、過学習を防ぐ。一般に重みを完全なゼロにする効果はL1より弱い。

    ⑭ Lasso回帰(ラッソ回帰)

    線形回帰にL1正則化を組み込んだ回帰手法。不要な特徴量に対応する係数をゼロにできるため、特徴量選択やモデルの簡素化に利用される。

    ⑮ Ridge回帰(リッジ回帰)

    線形回帰にL2正則化を組み込んだ回帰手法。各特徴量に対応する係数を全体的に小さくし、過学習を抑える。多重共線性への対処にも利用される。

    ⑯ ElasticNet(エラスティックネット)

    L1正則化とL2正則化を組み合わせた回帰手法。Lassoの特徴量選択能力とRidgeの係数縮小効果を併せ持つ。相関の強い特徴量が複数ある場合にも利用される。

    ⑰ ドロップアウト(Dropout)

    ニューラルネットワークの学習時に、一部のニューロンをランダムに無効化する手法。特定のニューロンへの過度な依存を防ぎ、過学習を抑制する。通常、推論時には無効化しない。

    4. 確率分布に関する用語

    ⑱ KL情報量(Kullback-Leibler Divergence)

    二つの確率分布の違いを測る尺度。カルバック・ライブラー情報量とも呼ばれる。値は0以上で、分布が一致すると0になる。比較する順序によって値が変わる非対称な尺度である。

     
     
    ご安全に!技術屋たかちゃんです! 「これって実際どうなの?」という日常の疑問を、エンジニアの視点で相棒のAI(アイ)君と一緒に調べて、3つのテーマ(AI、安全、暮らしの技術) をわかりやすく解説しています。技術や社会の仕組みを知ると世の中の見え方が少し変わるかもしれません。

    あなたへのおすすめ