メインコンテンツへスキップ
見出し画像

【AI開発のリアル #21】 動いていても、正しくなければ捨てた

    前回、ローカルLLMへ実際の仕事を渡し、間違えるたびに任せ方を変えた話を書いた。

    最後に、次はローカルLLMへ検査の仕事まで任せた話を書くと予告した。

    ただ、その経緯を説明するには、先に二つの前提が必要になる。

    一つは、品質確認が、完成した製品へ最後に足した工程ではなかったこと。

    もう一つは、増え続ける出力をクラウドAIへ検査させても、確認の抜けを防げなかったことだ。

    今回は、一つ目の話を書く。

    セキュリティレポートに、根拠のない所見や誤った判定が一つでも混じれば、その箇所だけでなく、仕組み全体の信頼を失う。失った信頼を取り戻すのは難しい。

    だから、動いている仕組みを、実際のデータで確かめた。前提から間違っていれば、部分的に直すのではなく、その設計ごと捨てた。開発中、その判断を何度も繰り返した。

    開発開始から5日で、最初の形を捨てた

    本格的な開発を始めた4月10日、その日のうちに最初のレポートはできた。

    だが、5日後に中身を調べると、8つのうち6つの章が、集計した数字を文章へ整えたものだった。

    処理は動いている。レポートも読める。

    しかし、それではCDNの管理画面で見られる数字を、別の形で並べ直しただけだった。

    顧客が知りたいのは、数字の一覧ではない。何が起きていて、どこまで確認でき、次に何をすべきかである。

    そこで、最初のレポート構成を捨てた。

    「うちは大丈夫か」という問いを分け、何を答えとして返すのかから作り直した。

    「確定」していた判定も、検査して捨てた

    開発中の仕組みを確認すると、「攻撃だと確定したもの」は、詳しい推論を省く作りになっていた。

    さらに、その後の判定が「攻撃」より下がらないように固定されていた。

    そこで、実際のデータを使って、固定されていた判定を一件ずつ調べ直した。

    一つのケースでは、この仕組みによって29件が「攻撃」に固定されていた。だが、一件ずつ調べ直すと、そのうち24件は正規のWebサイト操作によるアクセスで、攻撃ではなかった。

    確定したと思っていた判定そのものが、間違っていたのである。

    この結果を受け、詳しい推論を省く仕組みと、判定を固定する仕組みを捨てた。確定済みとされた対象も含め、一件ずつ調べる形へ作り直した。

    専門家の所見を、根拠までたどれなかった

    開発の初期は、クラウドAIの専門家がログを調べ、レポートの所見を書いていた。

    開発を進めると、そのころの詳しい所見の一部が、新しいレポートから消えた。本当に価値のある分析まで失ったのか。それを確かめるため、以前のレポートから10件の所見を選び、元のデータと照合した。

    事実だったのは1件だった。

    4件は誇張。5件は、元のデータで裏付けられなかった。

    問題は、所見が詳しいことではなかった。

    クラウドAIが、どのデータの何を根拠に、その所見を書いたのか。後からたどれないまま、レポートに残せる仕組みだったことが問題だった。

    この検査が転換点になった。専門家の所見をそのまま残す作りを捨て、数字や判断を元のデータまでたどれる形へ作り直した。

    最終的な仕組みでは、AIが何を読み、何を根拠に結論を書いたのかを、人間が途中までたどれる仕事へ分けた。

    78日間、品質確認が開発を動かした

    この連載でいう78日間は、完成までの時間ではない。4月10日に本格開発を始め、製品として発表するまでを、一つの区切りとして数えた期間である。

    品質の見直しは、開発開始5日後に始まり、発表をまたいで続いた。

    6月後半には、修正の影響を確かめるため、すべてのケースを使った再実行を繰り返した。一つを直すと、別のケースで問題が出ないかを、また確認する必要があったからである。

    発表後の6月30日にも、品質改善のため、一晩で修正と検査を10回繰り返した。

    製品を発表した時点を、開発の終了とは考えていなかった。実際のデータで問題が見つかれば、更新を続けた。

    この開発では、動いたものを読み、元のデータまで確かめた。前提が違えば、出来上がった仕組みに修正を重ねるのではなく、その設計を捨てて作り直した。そして、別の設計で動かし、実際のデータで確かめ直した。その繰り返しに、多くの時間を使った。

    品質管理は、開発の最後に置いた工程ではない。何を製品として残すかを決める、開発そのものだった。

    だから、この先も品質管理の話は一度では終わらない。

    次回は、二つ目の前提を書く。増え続ける出力を確認するため、クラウドAIへ「全部確認して」と頼み、それでも全部見た証拠を残せなかった話である。

    その失敗から、検査の仕事も細かく分け、ローカルLLMへ任せる方法へ進んでいく。


    この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。

    開発した製品のリリース情報

    ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています:

     
     

    toshi

     
     
    教育DXエンジニア / 生成AI活用研究家 コンピュータ理工学修士/元大手ICTエンジニア。誰もが技術を使いこなし、その恩恵を受けられる社会を目指し、公立高の教育現場と二児の子育てに情熱を注ぐ。専業主夫見習い

    あなたへのおすすめ