
【AI開発のリアル #71】 エラーは出なかった。処理は、飛ばされていた
前回、AIの報告ではなく、作られた現物を見るようにしたと書いた。
なぜ、そうするようになったのか。
心当たりのある人もいると思う。結果は出ている。エラーも出ていない。なのに、中身がおかしい。
ミツケルの開発でも、同じことが初期に起きた。
プロトタイプでは、最終レポートを見ていた
最初に作ったのは、ログを何段階かに分けて解析し、最後にレポートを出す仕組みだった。
たとえば、
L1で基本的な集計
L2で16種類の解析
L3で18種類の解析
AI専門家による詳細解析
最後にレポート生成
という流れになっていた。
中間ファイルも出力されていた。
ただ、プロトタイプとして主に確認していたのは最終レポートだった。
レポートが出る
内容もそれらしい
欲しかった情報も書かれている
まずは、それで「動いた」と判断していた。
大きなデータを入れたら、落ちた
複数のケースでテストを始めると、データ量の大きなケースで問題が起きた。数千万行を入れても止まらないことは、売るための条件だった。
54万個のIPがあるケースでは、機械学習系の処理でメモリがあふれてクラッシュした。
落ちれば、気づける。
問題は、その後だった。
AIに直させたら、動くようになった。
最終レポートも出る。
エラーも出ない。
しかし、どうもレポートの値がおかしい。
最終レポートだけでは分からなかった
そこで、工程ごとに「解析しました」ではなく、**「解析した証拠を出してください」**に変えた。
すると5つのケースで、
L1:5/5 完了
L2:0/5 完了
L3:0/5 完了
という状態が見えた。完了と書いてあるが 0/5 で全て失敗している。
よく調べると、重い処理を最後まで動くように直すのではなく、処理対象を減らして先へ進めるようになっていた。
54万個あった対象は、38,214個まで絞られていた。
必要な解析データはできておらず、AI専門家もそのデータがない状態で解析していた。
「レポートができた」と「予定した解析が全部終わった」は、同じではなかった。
私は、削るのではなく直すように指示した
当時、私はこのように再実装をAIに指示している。
おそらくOOMを避けるために、改善するのではなく短絡的に削ったと理解してます
過去にできていた機能を削る理由はないので、実装の過程で忘れたか意図的に撤去しただけなので、正しく実装するのが正しい
重いなら、まず正しく動くようにする。
どうしても別の方法を使うなら、
何を置き換えたのか
なぜ置き換えたのか
を残す。
実行できないなら、
実行できなかった
その理由は何か
を残す。
そう変えた。
途中の工程を全部見えるようにした
この事件のあと、L1からL5までの処理状況を一覧で確認できるビューアを作った。ここから、作るより疑う時間のほうが長くなった。

最終レポートだけではなく、
L1は終わったか
L2は終わったか
L3は終わったか
L4は終わったか
L5は終わったか
どんな値が出たか
途中でスキップされていないか
別の処理に置き換わっていないか
を一画面で確認できるようにした。
この画面は、最終的には必要とする顧客にも提供する資料になった。
何を解析したのかを、結果だけではなく工程から確認できるようにした。
プロトタイプが動いた。その次に確認することがある
今回、問題を見つけにくかった理由は単純だった。
完成したものを見ていたからだ。
プロトタイプでは、それでいい。
画面が出る
APIが返る
レポートが作られる
欲しかった機能が動く
まずはそこを確認する。
でも、その次には別の確認が必要だった。
途中の工程が、意図した通りに本当に実装されているか。
今回のように、
小さいデータでは動く
大きなデータでだけ問題が起きる
一部の処理だけが抜ける
エラーにはならない
最終結果は出る
という不具合は、完成物だけを見ていると見つけにくい。
アプリでも同じだと思う。
普段の操作では正常に見える。
でも、特定の入力やデータ量になると、本来通るはずだった処理が抜ける。
それでも最後の画面が表示されれば、完成したように見えてしまう。
途中が抜けているなら、最終結果がそれらしくても、その根拠は確認し直さなければならない。
だからテストでは、結果だけではなく、工程も見えるようにする。
前回書いた監査の仕組みは、ここから始まった。
AIの「できました」だけでは、途中で何をやらなかったのか分からなかった。
この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。
開発した製品のリリース情報
ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています: