
【AI開発のリアル #24】 ローカルLLMで、検査を減らさず回した
前回、クラウドAIの確認担当が「すべて完了」と報告しても、何を確かめたのかが残っていなければ、私は完了にできなかったと書いた。
そこで、何を確かめたのか、その結果はどうだったのか、根拠はどこにあるのかを、確認項目ごとに残すことにした。
以前、ローカルLLMへどの仕事を任せられるか、実際の仕事で何度も試した話を書いた。 あのときの目的は、任せられる仕事を見極めることだった。
今回は違う。任せる仕事を決めた後も、修正のたびに同じ品質を確かめ続けるための仕組みである。
焦点は、AIの賢さではない。必要な検査を、どうすれば繰り返し続けられるかだった。
品質を上げるほど、検査が増えた
確認項目を分けたのは、漏れを防ぐためである。
問題を直したら、同じ実データでもう一度動かし、問題が解消したかを確かめる。別のデータでも、同じ問題が起きないかを調べる。そのたびに、必要な項目を最初から検査し直さなければならない。
これは一度の試験ではなく、見つけた問題を潰し、製品の品質を上げ続けるための工程だった。
一件ずつに分けた検査自体は、クラウドAIにも実行できる。しかし、処理する量と回数が増えるほど、利用量に応じた費用や、利用枠の消費も増える。
それでも、費用を抑えるために、確かめる項目や対象を減らすわけにはいかない。再検査を省けば、修正後も必要な品質を保てているか判断できなくなる。
ローカルLLMが必要になったのは、クラウドAIにできない仕事だったからではない。品質基準を下げずに、何度でも繰り返す必要がある仕事だったからである。
「正しいか」ではなく、「何が足りないか」を聞いた
ここでローカルLLMへ任せたのは、以前書いたような製品の提出物を作る仕事ではない。作られた出力の最終的な合否を決める仕事でもなかった。
任せたのは、手順書、入力、出力を一組ずつ読み比べ、答えるための材料が入力に足りているかを調べる仕事である。
「この出力は正しいか」と聞けば、ローカルLLMは「正しい」と答えることもできる。しかし、その判定を人間が信じるしかなければ、#23の「すべて完了」と同じことを繰り返す。
そこで、材料が足りず答えられない項目があれば、無理に結論を作らず、何のデータが足りないのかを申告させた。
出力全体の正しさを判定するのではなく、人間も入力と出力を突き合わせて確かめられる形で、データの不足を見つける。ローカルLLMが残したのは最終判断ではなく、次に調べるべき問題の候補だった。
数字や形式のように、機械的に照合できる検査はスクリプトへ任せた。「AIには、数字を書かせない」と決めた分担を、品質管理にも使ったのである。
文章の意味を読まなければ分からないことはローカルLLMへ。機械的に決められることはスクリプトへ。
すべてをAIに判断させるのではなく、検査ごとに向いている方法を置いた。
検査結果を、修正へ戻した
ローカルLLMとスクリプトが残した検査結果は、入力や出力と一組にして、クラウドAIへ渡した。
検査結果には、問題が見つかった項目と、不足しているデータが残る。クラウドAIは、それを次の仕事の入力として受け取り、問題が出た場所から原因を調べて修正する。
修正後は、同じ検査をもう一度実行する。ローカルLLMが検査して記録し、クラウドAIが原因を調べて直し、人間が検査結果から入力までたどって、製品に残せるかを判断する。
ローカルLLMを最終判定者にしたのではない。品質を上げるたびに繰り返す検査を受け持ち、その結果を次の担当へ渡せる仕事にしたのである。
この循環によって、検査する対象や回数を減らさず、クラウドAIの利用量を抑えられるようになった。
これが、あのとき予告した、ローカルLLMを品質管理へ組み込んだ話である。
こうして、品質管理を最後の目視確認に預けず、検査、修正、再検査、最終判断を、証拠とともに循環させる形ができた。
必要な確認を減らさず、開発チーム全体で品質を上げ続けられる仕組みにしたのである。
この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。
開発した製品のリリース情報
ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています: