メインコンテンツへスキップ
見出し画像

【AI開発のリアル #14】 ローカルLLMに、専門家を丸ごと任せて失敗した

    前回、ログを入れると、ローカルLLMが何度も推論し、最後にレポートができる「AIの入った箱」を作ったと書いた。

    だが、この箱は、最初からローカルLLMだけで動いたわけではない。

    専用機が届く前、まず手元のMacで、ローカルLLMに専門家の仕事を任せてみた。

    ログを調べる。脅威を見つける。状況を判断する。そして、人が読めるレポートを書く。

    クラウドAIが担当していた仕事を、そのまま丸ごと渡した。

    結果は、失敗だった。

    ぱっと見は、かなりできていた

    まったく使えなかったわけではない。

    ログから大まかな脅威を見つけ、日本語で説明し、決めた形式に沿ってレポートを書くこともできた。

    最初に読んだときは、思った以上にできているように見えた。

    だが、細かく確認すると、間違いがあった。

    ブラウザのバージョンを読み違える。扱っているCDNとは別の製品を前提に説明する。

    大筋は合っていても、細部が違う。

    セキュリティのレポートでは、この「だいたい合っている」が困る。もっともらしい文章になっているほど、間違いを見落としやすいからである。

    一人の専門家として、調査から判断、説明までを任せるには足りなかった。

    専門家を、そのまま置き換えようとしていた

    当時の私たちは、クラウドAIが一人の専門家として担っていた仕事を、分解せず、そのままローカルLLMへ置き換えようとしていた。

    同じ指示を渡せば、同じように調査し、判断し、説明までできると考えていた。

    だが、「専門家の仕事」という名前の中には、多くの仕事が入っている。

    大量のデータを読む。怪しいものを探す。過去の知識と照らす。別の可能性を考える。数字を確かめる。最後に文章へまとめる。

    それを一つの仕事として渡していた。

    問題は、ローカルLLMの性能だけではなかった。

    渡した仕事が、大きすぎた。

    使えないのではなく、任せる仕事が違った

    ここで、ローカルLLMは使えない、と諦めることもできた。

    しかし、私たちが作ろうとしていたのは、解析対象のログをクラウドAIへ送らず、自分たちの設備で動かせる仕組みだった。

    そこで、ローカルLLMに何を任せるのかを見直した。

    前に、仕事は「何を受け取り、何を成果として残すか」で区切ったと書いた。

    専門家を丸ごと任せるのではなく、専門家が実際に何をしているのかを分ける。

    限られたデータから候補を抜き出す。一つの条件に当てはまるか判定する。決めた形式で結果を返す。

    そこまで小さくすれば、ローカルLLMにも任せられるかもしれない。

    ローカルLLMに、クラウドAIの仕事をそのまま引き継がせることはできなかった。

    一人で何でも答える専門家ではなく、大量のデータを細かく読み、決められた仕事を繰り返す役割を任せる必要があった。

    次回は、ローカルLLMを専門家の席から外し、開発するAIが使う「手足」へ変えた話を書く。


    この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。

    開発した製品のリリース情報

    ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています:


     
     

    toshi

     
     
    教育DXエンジニア / 生成AI活用研究家 コンピュータ理工学修士/元大手ICTエンジニア。誰もが技術を使いこなし、その恩恵を受けられる社会を目指し、公立高の教育現場と二児の子育てに情熱を注ぐ。専業主夫見習い

    あなたへのおすすめ