メインコンテンツへスキップ
見出し画像

【AI開発のリアル #24】 ローカルLLMで、検査を減らさず回した

    前回、クラウドAIの確認担当が「すべて完了」と報告しても、何を確かめたのかが残っていなければ、私は完了にできなかったと書いた。

    そこで、何を確かめたのか、その結果はどうだったのか、根拠はどこにあるのかを、確認項目ごとに残すことにした。

    以前、ローカルLLMへどの仕事を任せられるか、実際の仕事で何度も試した話を書いた。 あのときの目的は、任せられる仕事を見極めることだった。

    今回は違う。任せる仕事を決めた後も、修正のたびに同じ品質を確かめ続けるための仕組みである。

    焦点は、AIの賢さではない。必要な検査を、どうすれば繰り返し続けられるかだった。

    品質を上げるほど、検査が増えた

    確認項目を分けたのは、漏れを防ぐためである。

    問題を直したら、同じ実データでもう一度動かし、問題が解消したかを確かめる。別のデータでも、同じ問題が起きないかを調べる。そのたびに、必要な項目を最初から検査し直さなければならない。

    これは一度の試験ではなく、見つけた問題を潰し、製品の品質を上げ続けるための工程だった。

    一件ずつに分けた検査自体は、クラウドAIにも実行できる。しかし、処理する量と回数が増えるほど、利用量に応じた費用や、利用枠の消費も増える。

    それでも、費用を抑えるために、確かめる項目や対象を減らすわけにはいかない。再検査を省けば、修正後も必要な品質を保てているか判断できなくなる。

    ローカルLLMが必要になったのは、クラウドAIにできない仕事だったからではない。品質基準を下げずに、何度でも繰り返す必要がある仕事だったからである。

    「正しいか」ではなく、「何が足りないか」を聞いた

    ここでローカルLLMへ任せたのは、以前書いたような製品の提出物を作る仕事ではない。作られた出力の最終的な合否を決める仕事でもなかった。

    任せたのは、手順書、入力、出力を一組ずつ読み比べ、答えるための材料が入力に足りているかを調べる仕事である。

    「この出力は正しいか」と聞けば、ローカルLLMは「正しい」と答えることもできる。しかし、その判定を人間が信じるしかなければ、#23の「すべて完了」と同じことを繰り返す。

    そこで、材料が足りず答えられない項目があれば、無理に結論を作らず、何のデータが足りないのかを申告させた。

    出力全体の正しさを判定するのではなく、人間も入力と出力を突き合わせて確かめられる形で、データの不足を見つける。ローカルLLMが残したのは最終判断ではなく、次に調べるべき問題の候補だった。

    数字や形式のように、機械的に照合できる検査はスクリプトへ任せた。「AIには、数字を書かせない」と決めた分担を、品質管理にも使ったのである。

    文章の意味を読まなければ分からないことはローカルLLMへ。機械的に決められることはスクリプトへ。

    すべてをAIに判断させるのではなく、検査ごとに向いている方法を置いた。

    検査結果を、修正へ戻した

    ローカルLLMとスクリプトが残した検査結果は、入力や出力と一組にして、クラウドAIへ渡した。

    検査結果には、問題が見つかった項目と、不足しているデータが残る。クラウドAIは、それを次の仕事の入力として受け取り、問題が出た場所から原因を調べて修正する。

    修正後は、同じ検査をもう一度実行する。ローカルLLMが検査して記録し、クラウドAIが原因を調べて直し、人間が検査結果から入力までたどって、製品に残せるかを判断する。

    ローカルLLMを最終判定者にしたのではない。品質を上げるたびに繰り返す検査を受け持ち、その結果を次の担当へ渡せる仕事にしたのである。

    この循環によって、検査する対象や回数を減らさず、クラウドAIの利用量を抑えられるようになった。

    これが、あのとき予告した、ローカルLLMを品質管理へ組み込んだ話である。

    こうして、品質管理を最後の目視確認に預けず、検査、修正、再検査、最終判断を、証拠とともに循環させる形ができた。

    必要な確認を減らさず、開発チーム全体で品質を上げ続けられる仕組みにしたのである。


    この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。

    開発した製品のリリース情報

    ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています:


     
     

    toshi

     
     
    教育DXエンジニア / 生成AI活用研究家 コンピュータ理工学修士/元大手ICTエンジニア。誰もが技術を使いこなし、その恩恵を受けられる社会を目指し、公立高の教育現場と二児の子育てに情熱を注ぐ。専業主夫見習い

    あなたへのおすすめ