
【AI開発のリアル #23】 AIの「すべて完了」を、私は完了にしなかった
前回、AIの提出物が積み上がる一方で、完成かやり直しかを決める作業が開発を止め、それを独立した仕事にしたと書いた。
そこで、実装する担当とは別に、できたものを確かめるクラウドAIの担当を置いた。
だから、完成した出力を読ませて、合否だけを答えさせたのではない。実際のデータで仕事を動かし、入力から出力まで確かめる。問題があれば原因を調べ、修正し、もう一度試す。人間が担っていた反復可能な確認を、一連の仕事として渡した。
手順書ごとに、実データで確かめた
確認担当には、一つずつ手順書を渡した。
手順書を読み、判断に必要なデータを洗い出す。そのデータを集める専用のスクリプトを作る。同じ手順を条件の異なる実データで動かし、入力と出力を照らし合わせる。
問題があれば、入力データが足りないのか、データを集める処理が間違っているのか、手順書に問題があるのかを調べる。原因を直し、同じ実データでもう一度実行する。
違う実データでも安定して動くようになったら、次の手順書へ進む。
検査を通すために、合格基準を緩めることは禁じた。手順書を都合よく直せば、製品の品質ではなく、ゴールの方を近づけることになるからである。
この手順で、確認担当は動き始めた。
しかし、担当が「完了」とした仕事を私が確かめると、確認の仕方そのものに問題が見つかった。
「すべて完了」の中身を調べた
確認担当が「完了」とした仕事について、私は手順書、入力データ、ローカルLLMの出力、残された検査結果を読み比べた。
出力の内容が正しいかだけではない。確認担当が、手順書で求めた項目を本当にすべて確かめたのかを調べた。
すると、判断に必要なデータが入力へ含まれていない例が見つかった。
一部の結果には警告や失敗が残っているのに、仕事全体は「すべて完了」と報告されたこともあった。
問題は、クラウドAIが作業を進められなかったことではない。
できたものを確かめる仕事の中に、さらに多くの確認項目が残っていたのである。
最終報告だけを見ても、どの項目を確認し、どの項目を見落としたのかが分からなかった。
確認した項目まで、成果物にする
確認漏れを防ぐには、手順書、入力、出力の一組ずつについて、何を確かめたのか、その結果はどうだったのか、根拠はどこにあるのかを残す必要があった。
「すべて完了」という報告ではなく、確認項目ごとの結果そのものを成果物にする。そうすれば、人間はAIの報告を信じるしかない状態から、何を調べ、何を見落としたのかを後からたどれる状態へ変えられる。
ただし、確認項目を明示すれば、行う検査は一気に増える。一度通せば終わりでもない。問題を直して実行し直すたび、同じ検査をもう一度行わなければならない。
しかも、必要な材料が入力にそろっているか、入力にないことを出力へ書いていないかを確かめるには、文章の意味を読む必要がある。単純なスクリプトだけでは終わらない。
必要になったのは、意味まで読む検査を一件ずつ独立させ、対象も回数も減らさずに繰り返せる仕組みである。
次回は、その大量の検査にローカルLLMを組み込んだ理由と、確認した項目と根拠を残す仕組みを書こうと思う。
この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。
開発した製品のリリース情報
ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています: