メインコンテンツへスキップ
見出し画像

【AI開発のリアル #71】 エラーは出なかった。処理は、飛ばされていた

    前回、AIの報告ではなく、作られた現物を見るようにしたと書いた。

    なぜ、そうするようになったのか。

    心当たりのある人もいると思う。結果は出ている。エラーも出ていない。なのに、中身がおかしい。

    ミツケルの開発でも、同じことが初期に起きた。

    プロトタイプでは、最終レポートを見ていた

    最初に作ったのは、ログを何段階かに分けて解析し、最後にレポートを出す仕組みだった。

    たとえば、

    • L1で基本的な集計

    • L2で16種類の解析

    • L3で18種類の解析

    • AI専門家による詳細解析

    • 最後にレポート生成

    という流れになっていた。

    中間ファイルも出力されていた。

    ただ、プロトタイプとして主に確認していたのは最終レポートだった。

    • レポートが出る

    • 内容もそれらしい

    • 欲しかった情報も書かれている

    まずは、それで「動いた」と判断していた。

    大きなデータを入れたら、落ちた

    複数のケースでテストを始めると、データ量の大きなケースで問題が起きた。数千万行を入れても止まらないことは、売るための条件だった。

    54万個のIPがあるケースでは、機械学習系の処理でメモリがあふれてクラッシュした。

    落ちれば、気づける。

    問題は、その後だった。

    AIに直させたら、動くようになった。

    最終レポートも出る。

    エラーも出ない。

    しかし、どうもレポートの値がおかしい。

    最終レポートだけでは分からなかった

    そこで、工程ごとに「解析しました」ではなく、**「解析した証拠を出してください」**に変えた。

    すると5つのケースで、

    • L1:5/5 完了

    • L2:0/5 完了

    • L3:0/5 完了

    という状態が見えた。完了と書いてあるが 0/5 で全て失敗している。

    よく調べると、重い処理を最後まで動くように直すのではなく、処理対象を減らして先へ進めるようになっていた。

    54万個あった対象は、38,214個まで絞られていた。

    必要な解析データはできておらず、AI専門家もそのデータがない状態で解析していた。

    「レポートができた」と「予定した解析が全部終わった」は、同じではなかった。

    私は、削るのではなく直すように指示した

    当時、私はこのように再実装をAIに指示している。

    おそらくOOMを避けるために、改善するのではなく短絡的に削ったと理解してます

    過去にできていた機能を削る理由はないので、実装の過程で忘れたか意図的に撤去しただけなので、正しく実装するのが正しい

    重いなら、まず正しく動くようにする。

    どうしても別の方法を使うなら、

    • 何を置き換えたのか

    • なぜ置き換えたのか

    を残す。

    実行できないなら、

    • 実行できなかった

    • その理由は何か

    を残す。

    そう変えた。

    途中の工程を全部見えるようにした

    この事件のあと、L1からL5までの処理状況を一覧で確認できるビューアを作った。ここから、作るより疑う時間のほうが長くなった。

    画像
    16の手法が、適用・代理・材料なしのどれかで並ぶ。代理は、別のやり方に置き換えたもの。

    最終レポートだけではなく、

    • L1は終わったか

    • L2は終わったか

    • L3は終わったか

    • L4は終わったか

    • L5は終わったか

    • どんな値が出たか

    • 途中でスキップされていないか

    • 別の処理に置き換わっていないか

    を一画面で確認できるようにした。

    この画面は、最終的には必要とする顧客にも提供する資料になった。

    何を解析したのかを、結果だけではなく工程から確認できるようにした。

    プロトタイプが動いた。その次に確認することがある

    今回、問題を見つけにくかった理由は単純だった。

    完成したものを見ていたからだ。

    プロトタイプでは、それでいい。

    • 画面が出る

    • APIが返る

    • レポートが作られる

    • 欲しかった機能が動く

    まずはそこを確認する。

    でも、その次には別の確認が必要だった。

    途中の工程が、意図した通りに本当に実装されているか。

    今回のように、

    • 小さいデータでは動く

    • 大きなデータでだけ問題が起きる

    • 一部の処理だけが抜ける

    • エラーにはならない

    • 最終結果は出る

    という不具合は、完成物だけを見ていると見つけにくい。

    アプリでも同じだと思う。

    普段の操作では正常に見える。

    でも、特定の入力やデータ量になると、本来通るはずだった処理が抜ける。

    それでも最後の画面が表示されれば、完成したように見えてしまう。

    途中が抜けているなら、最終結果がそれらしくても、その根拠は確認し直さなければならない。

    だからテストでは、結果だけではなく、工程も見えるようにする。

    前回書いた監査の仕組みは、ここから始まった。

    AIの「できました」だけでは、途中で何をやらなかったのか分からなかった。


    この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。

    開発した製品のリリース情報

    ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています:


     
     

    toshi

     
     
    教育DXエンジニア / 生成AI活用研究家 コンピュータ理工学修士/元大手ICTエンジニア。誰もが技術を使いこなし、その恩恵を受けられる社会を目指し、公立高の教育現場と二児の子育てに情熱を注ぐ。専業主夫見習い

    あなたへのおすすめ