
G検定#12|AIの正解率99.9%?でも「正解率」だけではない
皆さん、ご安全に!! 技術屋たかちゃんです。
工場の検査ラインを想像してみてください。
ベルトコンベアの上を製品が流れ、カメラが次々と撮影する。モーターの低い駆動音が響き、モニターには「良品」「不良品」の判定が表示されます。
このAIの正解率が99.95%だったら、優秀な検査装置だと思いますか?
実は、そう単純な話ではありません。
AIにも練習問題と本番がある
機械学習モデルを作る作業は、大きく5段階に分かれます。
データの収集
データの前処理
学習
評価
推論(学習済みモデルによる予測)
ここで、学習に使ったデータを、そのまま評価にも使ってはいけません。
過去問の答えを丸暗記した学生が、本番で問題の出し方を少し変えられただけで解けなくなる。AIにも似た現象が起きます。
これが過学習(オーバーフィッティング)です。
学習データには高い精度を示すのに、初めて見るデータでは予測を外してしまう。そんな状態です。
未知のデータに対しても正しく予測できる能力を汎化性能と呼びます。
AIの実力を測るには、練習問題ではなく、初めて見る問題を解かせる必要があります。
AIの実力を測る2つの方法
代表的な評価方法は2つです。
ホールドアウト検証は、データを学習用と検証用に一度だけ分割する方法。仕組みが簡単で、計算時間も短く済みます。
交差検証(クロスバリデーション)は、データをK個のグループに分け、検証に使うグループを入れ替えながらK回評価する方法です。
例えば5分割なら、5回の検証を行います。すべてのデータが一度ずつ検証用に使われるため、分割による評価の偏りを抑えやすくなります。
正解率だけでは見えないAIの弱点
数値を予測する回帰問題では、次の評価指標を使います。
MAE(平均絶対誤差):予測値と正解値の差の絶対値を平均したもの。平均的なズレが分かります。
MSE(平均二乗誤差):誤差を二乗して平均したもの。大きな誤差を強く評価します。
RMSE(二乗平均平方根誤差):MSEの平方根。元の数値と同じ単位で誤差を把握できます。
分類問題では、混同行列を使います。予測結果を4種類に分けて整理したものです。
TP:陽性を正しく陽性と判定
FP:陰性を誤って陽性と判定
FN:陽性を誤って陰性と判定
TN:陰性を正しく陰性と判定
工場の不良品検査なら、FPは良品の誤検出、FNは不良品の見逃しです。
この違いを踏まえて、次の評価指標を使います。
正解率(Accuracy):全体のうち正しく判定できた割合。
適合率(Precision):陽性と判定したもののうち、本当に陽性だった割合。
再現率(Recall):実際の陽性のうち、正しく陽性と判定できた割合。
F値(F1-score):適合率と再現率の調和平均。
例えば、1万個の製品のうち不良品が5個だったとします。
AIが全部を良品と判定すると、正解率は99.95%。数字だけ見れば立派です。
ところが、不良品は5個とも見逃しています。これでは検査装置として役に立ちません。
ROC曲線は、判定のしきい値を変えたときの真陽性率と偽陽性率の関係を示すグラフです。その下の面積をAUCと呼びます。一般に1に近いほど、陽性と陰性を区別する能力が高いモデルです。
ただ、クラスの偏りが大きいデータでは、ROC-AUCだけで性能を判断するのは不十分です。適合率や再現率、PR曲線なども確認します。
最も複雑なモデルが最良とは限らない
モデルを選ぶときには、オッカムの剃刀という考え方があります。
同程度の予測性能なら、よりシンプルなモデルを選ぶという原則です。
AIC(赤池情報量基準)とBIC(ベイズ情報量基準)も、モデルのデータへの適合度と複雑さを評価する指標です。候補モデルを比較するときは、基本的に値が小さいものが選ばれます。BICはデータ数に応じて、モデルの複雑さに対するペナルティが強くなる特徴があります。
僕の見解
今回、僕が面白いと思ったのは、AIの性能評価には現場の事情が深く関係していることです。
工場の検査装置なら、良品を不良品と判定することと、不良品を見逃すことでは損失が違います。
検査員が製品を手に取り、傷を探す。見つけた不良品を脇に置く。その作業をAIに任せるなら、何を見逃してはいけないのかを先に決めておく必要があります。
正解率99.95%という数字の裏側に、見逃された5個の不良品がある。
僕は、AIの性能を評価するとき、この数字の裏側まで見ておきたいと思います。
技術屋たかちゃんでした。ご安全に!!
G検定 連載
前回:
次回:
目次(マガジン):
G検定対策用語
1. 機械学習モデルの作成と評価
1. 機械学習(Machine Learning)
コンピュータがデータから規則性やパターンを学習し、未知のデータに対する予測や判断を行う技術。人間がすべての判断ルールをプログラムする必要がない点が特徴。
2. 前処理(Preprocessing)
収集したデータから欠損値や異常値を処理し、機械学習で扱いやすい形式に整える作業。データの品質は学習結果に影響するため、重要な工程となる。
3. 学習データ(Training Data)
機械学習モデルの規則性やパラメータを調整するために使用するデータ。モデルは学習データに含まれる特徴や傾向を捉え、予測できるようになる。
4. 検証データ(Validation Data)
学習中にモデルの性能を確認したり、ハイパーパラメータを調整したりするためのデータ。学習データとは分離して使用し、モデル選択などに利用する。
5. テストデータ(Test Data)
学習やモデル選択が完了した後、最終的な汎化性能を評価するために使用するデータ。検証データとは区別し、最終評価まで原則として使用しない。
6. 汎化性能(Generalization Performance)
学習時に使用していない未知のデータに対して、正しく予測できる能力。機械学習モデルの実用性を判断するための基本的な評価対象となる。
7. 過学習(Overfitting)
モデルが学習データに過剰に適合し、学習データでは高い精度を示すものの、未知のデータでは予測精度が低下する現象。モデルの複雑さやデータ不足などが原因となる。
2. モデルの評価方法
8. ホールドアウト検証(Hold-out Validation)
データを学習用と評価用に一度だけ分割して性能を確認する方法。計算負荷が小さく簡単に実施できるが、分割方法によって評価結果が変わる場合がある。
9. 交差検証(Cross Validation)
データをK個のグループに分割し、検証用データを入れ替えながらK回学習・評価を繰り返す方法。データ分割による評価の偏りを抑えやすいが、計算時間が長くなる。
10. K分割交差検証(K-fold Cross Validation)
交差検証の代表的な手法。データをK個に分け、毎回1つを検証用、残りを学習用として使用する。K回の評価結果を平均することでモデルの性能を確認する。
3. 回帰問題の評価指標
11. 回帰(Regression)
入力データから連続した数値を予測する機械学習の問題。例えば、住宅価格、機械の温度、製品重量、売上高などの予測に利用される。
12. MAE(Mean Absolute Error:平均絶対誤差)
予測値と正解値の差の絶対値を平均した評価指標。値が小さいほど予測誤差が小さい。元のデータと同じ単位で誤差を把握できる。
13. MSE(Mean Squared Error:平均二乗誤差)
予測値と正解値の差を二乗して平均した評価指標。大きな誤差ほど強く評価に反映される。外れ値の影響を受けやすい特徴がある。
14. RMSE(Root Mean Squared Error:二乗平均平方根誤差)
MSEの平方根を取った評価指標。誤差を二乗したことで変化した単位を元に戻せる。値が小さいほど予測精度が高いと評価される。
4. 分類問題の評価指標
15. 分類(Classification)
入力データがどのカテゴリーに属するかを予測する機械学習の問題。迷惑メール判定や製品の良品・不良品判定、画像認識などに利用される。
16. 混同行列(Confusion Matrix)
分類モデルの予測結果と実際の正解を照合し、TP・FP・FN・TNの4種類に整理した表。正解率、適合率、再現率などを計算する基礎となる。
17. TP(True Positive:真陽性)
実際に陽性であるデータを、モデルが正しく陽性と判定した結果。例えば、本当に不良品である製品をAIが不良品と判定できた場合に該当する。
18. FP(False Positive:偽陽性)
実際には陰性であるデータを、誤って陽性と判定した結果。良品を不良品と判定する誤検出に相当する。偽陽性とも呼ばれる。
19. FN(False Negative:偽陰性)
実際には陽性であるデータを、誤って陰性と判定した結果。不良品を良品と判定する見逃しに相当する。偽陰性とも呼ばれる。
20. TN(True Negative:真陰性)
実際に陰性であるデータを、モデルが正しく陰性と判定した結果。例えば、本当に良品である製品をAIが良品と判定できた場合に該当する。
21. 正解率(Accuracy)
全予測データのうち、正しく分類できた割合。TPとTNの合計を全データ数で割って求める。クラスの偏りが大きいデータでは、正解率だけで性能を判断できない。
22. 適合率(Precision)
モデルが陽性と予測したデータのうち、実際に陽性だった割合。TP÷(TP+FP)で計算する。誤検出を減らしたい場合に重視する指標。
23. 再現率(Recall)
実際に陽性であるデータのうち、正しく陽性と予測できた割合。TP÷(TP+FN)で計算する。不良品や病気などの見逃しを減らしたい場合に重視する。
24. F値(F1-score)
適合率と再現率の調和平均で求める評価指標。F1値は2×適合率×再現率÷(適合率+再現率)で計算する。両方の指標のバランスを評価できる。
25. ROC曲線(Receiver Operating Characteristic Curve)
判定のしきい値を変化させたときの、真陽性率(TPR)と偽陽性率(FPR)の関係を示すグラフ。分類モデルの識別性能を評価するために使用する。
26. AUC(Area Under the Curve)
ROC曲線の下側の面積を表す指標。値は0から1の範囲で、一般に1に近いほど陽性と陰性を区別する能力が高い。1は完全な識別を表す。
27. しきい値(Threshold)
モデルの予測確率などを陽性・陰性に分類する境界値。しきい値を変更すると、適合率や再現率、偽陽性率などが変化する。
5. モデル選択の考え方
28. オッカムの剃刀(Occam's Razor)
複数の説明やモデルが同程度に適切な場合、より単純なものを選ぶという考え方。機械学習では、必要以上に複雑なモデルを避ける際の基本原則となる。
29. AIC(Akaike Information Criterion:赤池情報量基準)
モデルのデータへの適合度と複雑さを評価する情報量基準。モデルの対数尤度とパラメータ数から計算する。候補モデルの中で値が小さいものが選ばれやすい。
30. BIC(Bayesian Information Criterion:ベイズ情報量基準)
モデルの適合度と複雑さを評価する情報量基準。パラメータ数に加え、データ数に応じたペナルティを加える。一般にAICより複雑なモデルを選びにくい傾向がある。