
【AI開発のリアル #21】 動いていても、正しくなければ捨てた
前回、ローカルLLMへ実際の仕事を渡し、間違えるたびに任せ方を変えた話を書いた。
最後に、次はローカルLLMへ検査の仕事まで任せた話を書くと予告した。
ただ、その経緯を説明するには、先に二つの前提が必要になる。
一つは、品質確認が、完成した製品へ最後に足した工程ではなかったこと。
もう一つは、増え続ける出力をクラウドAIへ検査させても、確認の抜けを防げなかったことだ。
今回は、一つ目の話を書く。
セキュリティレポートに、根拠のない所見や誤った判定が一つでも混じれば、その箇所だけでなく、仕組み全体の信頼を失う。失った信頼を取り戻すのは難しい。
だから、動いている仕組みを、実際のデータで確かめた。前提から間違っていれば、部分的に直すのではなく、その設計ごと捨てた。開発中、その判断を何度も繰り返した。
開発開始から5日で、最初の形を捨てた
本格的な開発を始めた4月10日、その日のうちに最初のレポートはできた。
だが、5日後に中身を調べると、8つのうち6つの章が、集計した数字を文章へ整えたものだった。
処理は動いている。レポートも読める。
しかし、それではCDNの管理画面で見られる数字を、別の形で並べ直しただけだった。
顧客が知りたいのは、数字の一覧ではない。何が起きていて、どこまで確認でき、次に何をすべきかである。
そこで、最初のレポート構成を捨てた。
「うちは大丈夫か」という問いを分け、何を答えとして返すのかから作り直した。
「確定」していた判定も、検査して捨てた
開発中の仕組みを確認すると、「攻撃だと確定したもの」は、詳しい推論を省く作りになっていた。
さらに、その後の判定が「攻撃」より下がらないように固定されていた。
そこで、実際のデータを使って、固定されていた判定を一件ずつ調べ直した。
一つのケースでは、この仕組みによって29件が「攻撃」に固定されていた。だが、一件ずつ調べ直すと、そのうち24件は正規のWebサイト操作によるアクセスで、攻撃ではなかった。
確定したと思っていた判定そのものが、間違っていたのである。
この結果を受け、詳しい推論を省く仕組みと、判定を固定する仕組みを捨てた。確定済みとされた対象も含め、一件ずつ調べる形へ作り直した。
専門家の所見を、根拠までたどれなかった
開発の初期は、クラウドAIの専門家がログを調べ、レポートの所見を書いていた。
開発を進めると、そのころの詳しい所見の一部が、新しいレポートから消えた。本当に価値のある分析まで失ったのか。それを確かめるため、以前のレポートから10件の所見を選び、元のデータと照合した。
事実だったのは1件だった。
4件は誇張。5件は、元のデータで裏付けられなかった。
問題は、所見が詳しいことではなかった。
クラウドAIが、どのデータの何を根拠に、その所見を書いたのか。後からたどれないまま、レポートに残せる仕組みだったことが問題だった。
この検査が転換点になった。専門家の所見をそのまま残す作りを捨て、数字や判断を元のデータまでたどれる形へ作り直した。
最終的な仕組みでは、AIが何を読み、何を根拠に結論を書いたのかを、人間が途中までたどれる仕事へ分けた。
78日間、品質確認が開発を動かした
この連載でいう78日間は、完成までの時間ではない。4月10日に本格開発を始め、製品として発表するまでを、一つの区切りとして数えた期間である。
品質の見直しは、開発開始5日後に始まり、発表をまたいで続いた。
6月後半には、修正の影響を確かめるため、すべてのケースを使った再実行を繰り返した。一つを直すと、別のケースで問題が出ないかを、また確認する必要があったからである。
発表後の6月30日にも、品質改善のため、一晩で修正と検査を10回繰り返した。
製品を発表した時点を、開発の終了とは考えていなかった。実際のデータで問題が見つかれば、更新を続けた。
この開発では、動いたものを読み、元のデータまで確かめた。前提が違えば、出来上がった仕組みに修正を重ねるのではなく、その設計を捨てて作り直した。そして、別の設計で動かし、実際のデータで確かめ直した。その繰り返しに、多くの時間を使った。
品質管理は、開発の最後に置いた工程ではない。何を製品として残すかを決める、開発そのものだった。
だから、この先も品質管理の話は一度では終わらない。
次回は、二つ目の前提を書く。増え続ける出力を確認するため、クラウドAIへ「全部確認して」と頼み、それでも全部見た証拠を残せなかった話である。
その失敗から、検査の仕事も細かく分け、ローカルLLMへ任せる方法へ進んでいく。
この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。
開発した製品のリリース情報
ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています: