
【AI開発のリアル #14】 ローカルLLMに、専門家を丸ごと任せて失敗した
前回、ログを入れると、ローカルLLMが何度も推論し、最後にレポートができる「AIの入った箱」を作ったと書いた。
だが、この箱は、最初からローカルLLMだけで動いたわけではない。
専用機が届く前、まず手元のMacで、ローカルLLMに専門家の仕事を任せてみた。
ログを調べる。脅威を見つける。状況を判断する。そして、人が読めるレポートを書く。
クラウドAIが担当していた仕事を、そのまま丸ごと渡した。
結果は、失敗だった。
ぱっと見は、かなりできていた
まったく使えなかったわけではない。
ログから大まかな脅威を見つけ、日本語で説明し、決めた形式に沿ってレポートを書くこともできた。
最初に読んだときは、思った以上にできているように見えた。
だが、細かく確認すると、間違いがあった。
ブラウザのバージョンを読み違える。扱っているCDNとは別の製品を前提に説明する。
大筋は合っていても、細部が違う。
セキュリティのレポートでは、この「だいたい合っている」が困る。もっともらしい文章になっているほど、間違いを見落としやすいからである。
一人の専門家として、調査から判断、説明までを任せるには足りなかった。
専門家を、そのまま置き換えようとしていた
当時の私たちは、クラウドAIが一人の専門家として担っていた仕事を、分解せず、そのままローカルLLMへ置き換えようとしていた。
同じ指示を渡せば、同じように調査し、判断し、説明までできると考えていた。
だが、「専門家の仕事」という名前の中には、多くの仕事が入っている。
大量のデータを読む。怪しいものを探す。過去の知識と照らす。別の可能性を考える。数字を確かめる。最後に文章へまとめる。
それを一つの仕事として渡していた。
問題は、ローカルLLMの性能だけではなかった。
渡した仕事が、大きすぎた。
使えないのではなく、任せる仕事が違った
ここで、ローカルLLMは使えない、と諦めることもできた。
しかし、私たちが作ろうとしていたのは、解析対象のログをクラウドAIへ送らず、自分たちの設備で動かせる仕組みだった。
そこで、ローカルLLMに何を任せるのかを見直した。
前に、仕事は「何を受け取り、何を成果として残すか」で区切ったと書いた。
専門家を丸ごと任せるのではなく、専門家が実際に何をしているのかを分ける。
限られたデータから候補を抜き出す。一つの条件に当てはまるか判定する。決めた形式で結果を返す。
そこまで小さくすれば、ローカルLLMにも任せられるかもしれない。
ローカルLLMに、クラウドAIの仕事をそのまま引き継がせることはできなかった。
一人で何でも答える専門家ではなく、大量のデータを細かく読み、決められた仕事を繰り返す役割を任せる必要があった。
次回は、ローカルLLMを専門家の席から外し、開発するAIが使う「手足」へ変えた話を書く。
この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。
開発した製品のリリース情報
ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています: