
【AI開発のリアル #15】 ローカルLLMを、クラウドAIの「手足」にした
前回、ローカルLLMに専門家の仕事を丸ごと任せて失敗した話を書いた。
調査し、判断し、説明する。ローカルLLMには、渡した仕事が大きすぎた。
そこで今度は、専門家としてではなく、ミツケルを開発するクラウドAIの道具として使ってみた。
開発の進め方を考え、スクリプトを書き、結果を判断するクラウドAI。
そのスクリプトから呼び出され、小さな処理を繰り返すローカルLLM。
二つのAIには、違う仕事をさせた。
開発では、同じ解析を何度もやり直した
ミツケルは、大量のログを繰り返し解析してレポートを作る。
前半で、レポートを一本作るまでに、AIが13,588回考えると書いた。
開発で必要だったのは、その処理を一度動かすことではない。条件を変えても、安定した結果を出せるようにすることだった。
データを変換する。必要な部分を取り出す。そこから意味のある動きを見つける。解析結果が正しいか確かめる。
結果がおかしければ、条件やスクリプトを直して、もう一度動かす。この地道な反復に、多くの時間を使った。
クラウドAIが、仕事を小さく分ける
この反復作業の進め方を考えていたのは、開発を担当するクラウドAIだった。
前に、仕事は「何を受け取り、何を成果として残すか」で区切ったと書いた。
その考え方を、ログを解析する工程にも使った。
クラウドAIが、次に何を調べるのかを決める。解析する内容を小さな仕事へ分け、必要なデータを取り出すスクリプトを書く。
そのスクリプトが、一つの問いに答えられる量のデータを用意し、ローカルLLMを呼び出す。
ローカルLLMは、渡されたデータを読み、決められた問いに答え、決められた形式で結果を返す。
クラウドAIはその結果を見て、次に進むか、条件を直してやり直すかを決める。
こうして、ローカルLLMはクラウドAIの手足になった。
一件ずつ、結果を残す
大量のログをクラウドAIへ渡し、「すべて詳細に確認せよ」と指示することもできる。
だが、データをすべて渡したことと、その一件一件を確認したことは同じではない。まとめて返された報告だけでは、どこまで確認したのかを後から確かめにくかった。
そこで、スクリプトがデータを小さく分け、ローカルLLMへ一件ずつ渡した。
この出力は、決めた条件を満たしているか。
必要な項目は、すべて入っているか。
明らかにおかしな結果が混ざっていないか。
問いを限定し、YesかNoかで返せる大きさにする。
一件を処理したら、一件の結果を残して、次へ進む。
これなら、何件を処理し、それぞれに何と答えたのかを後から確認できる。
ローカルLLMを使えば、答えが自動的に正しくなるわけではない。だが、結果がおかしければ、その一件を調べ直せる。問いが悪ければ、問いを直して、同じデータをもう一度処理できる。
確認を小さな単位へ分け、結果を残し、確かめ、やり直せるようになったのである。
このAIとは、誰も会話しない
一般にAIを使うというと、画面を開き、人間が質問を書き、AIが答える姿を思い浮かべる。
私たちのローカルLLMの使い方は違った。
人間は、ローカルLLMと会話しない。
スクリプトがデータを渡し、ローカルLLMが判定し、その結果を次のプログラムやクラウドAIが使う。
一つの賢い答えを求めるのではなく、細かく分けた解析や確認を、必要な回数だけ繰り返させる。
途中の確認をすべてクラウドAIへ任せずに済むため、クラウドAIの限られた利用枠を、設計や失敗原因の判断に使えるという利点もあった。
開発の道具を、製品の中へ
開発の道具として使ううちに、ローカルLLMへ任せられる仕事の大きさが見えてきた。
この方法なら、製品にも持ち込める。
製品の中にいる「専門家」の仕事も、同じ大きさまで分けることにした。
次回は、製品の中へ戻り、5人の専門家がしている仕事を、51の仕事へ分解した話を書く。
この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。
開発した製品のリリース情報
ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています: