メインコンテンツへスキップ
見出し画像

【AI開発のリアル #15】 ローカルLLMを、クラウドAIの「手足」にした

    前回、ローカルLLMに専門家の仕事を丸ごと任せて失敗した話を書いた。

    調査し、判断し、説明する。ローカルLLMには、渡した仕事が大きすぎた。

    そこで今度は、専門家としてではなく、ミツケルを開発するクラウドAIの道具として使ってみた。

    開発の進め方を考え、スクリプトを書き、結果を判断するクラウドAI。

    そのスクリプトから呼び出され、小さな処理を繰り返すローカルLLM。

    二つのAIには、違う仕事をさせた。

    開発では、同じ解析を何度もやり直した

    ミツケルは、大量のログを繰り返し解析してレポートを作る。

    前半で、レポートを一本作るまでに、AIが13,588回考えると書いた。

    開発で必要だったのは、その処理を一度動かすことではない。条件を変えても、安定した結果を出せるようにすることだった。

    データを変換する。必要な部分を取り出す。そこから意味のある動きを見つける。解析結果が正しいか確かめる。

    結果がおかしければ、条件やスクリプトを直して、もう一度動かす。この地道な反復に、多くの時間を使った。

    クラウドAIが、仕事を小さく分ける

    この反復作業の進め方を考えていたのは、開発を担当するクラウドAIだった。

    前に、仕事は「何を受け取り、何を成果として残すか」で区切ったと書いた。

    その考え方を、ログを解析する工程にも使った。

    クラウドAIが、次に何を調べるのかを決める。解析する内容を小さな仕事へ分け、必要なデータを取り出すスクリプトを書く。

    そのスクリプトが、一つの問いに答えられる量のデータを用意し、ローカルLLMを呼び出す。

    ローカルLLMは、渡されたデータを読み、決められた問いに答え、決められた形式で結果を返す。

    クラウドAIはその結果を見て、次に進むか、条件を直してやり直すかを決める。

    こうして、ローカルLLMはクラウドAIの手足になった。

    一件ずつ、結果を残す

    大量のログをクラウドAIへ渡し、「すべて詳細に確認せよ」と指示することもできる。

    だが、データをすべて渡したことと、その一件一件を確認したことは同じではない。まとめて返された報告だけでは、どこまで確認したのかを後から確かめにくかった。

    そこで、スクリプトがデータを小さく分け、ローカルLLMへ一件ずつ渡した。

    この出力は、決めた条件を満たしているか。
    必要な項目は、すべて入っているか。
    明らかにおかしな結果が混ざっていないか。

    問いを限定し、YesかNoかで返せる大きさにする。

    一件を処理したら、一件の結果を残して、次へ進む。

    これなら、何件を処理し、それぞれに何と答えたのかを後から確認できる。

    ローカルLLMを使えば、答えが自動的に正しくなるわけではない。だが、結果がおかしければ、その一件を調べ直せる。問いが悪ければ、問いを直して、同じデータをもう一度処理できる。

    確認を小さな単位へ分け、結果を残し、確かめ、やり直せるようになったのである。

    このAIとは、誰も会話しない

    一般にAIを使うというと、画面を開き、人間が質問を書き、AIが答える姿を思い浮かべる。

    私たちのローカルLLMの使い方は違った。

    人間は、ローカルLLMと会話しない。

    スクリプトがデータを渡し、ローカルLLMが判定し、その結果を次のプログラムやクラウドAIが使う。

    一つの賢い答えを求めるのではなく、細かく分けた解析や確認を、必要な回数だけ繰り返させる。

    途中の確認をすべてクラウドAIへ任せずに済むため、クラウドAIの限られた利用枠を、設計や失敗原因の判断に使えるという利点もあった。

    開発の道具を、製品の中へ

    開発の道具として使ううちに、ローカルLLMへ任せられる仕事の大きさが見えてきた。

    この方法なら、製品にも持ち込める。

    製品の中にいる「専門家」の仕事も、同じ大きさまで分けることにした。

    次回は、製品の中へ戻り、5人の専門家がしている仕事を、51の仕事へ分解した話を書く。


    この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。

    開発した製品のリリース情報

    ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています:


     
     

    toshi

     
     
    教育DXエンジニア / 生成AI活用研究家 コンピュータ理工学修士/元大手ICTエンジニア。誰もが技術を使いこなし、その恩恵を受けられる社会を目指し、公立高の教育現場と二児の子育てに情熱を注ぐ。専業主夫見習い

    あなたへのおすすめ