メインコンテンツへスキップ
見出し画像

【AI開発のリアル #16】 5人の専門家を、51の仕事に分解した

    前回、開発するクラウドAIが、ローカルLLMを「手足」として使った話を書いた。

    クラウドAIが仕事を小さく分け、スクリプトからローカルLLMを呼び出す。この使い方なら、何を処理し、何を答えたのかを後から確かめられる。

    そこで、この方法を製品の中へ持ち込んだ。

    前半で、ミツケルは「セキュリティ会社を箱に詰めた」ような製品だと書いた。

    ログを直接調べるのは、役割の違う5人の専門家AIである。

    だが、「専門家」と名前を付けただけでは、専門家の仕事にはならない。

    役職名だけでは、専門家は動かない

    「攻撃を調べる専門家」といっても、その仕事は一つではない。

    その仕事を分けていくと、例えば次のようになる。

    • 脅威探索官

      • WAFを通過したアクセスを探す

      • 狙われた資産を特定する

      • ログから攻撃の狙いを推定する

    • 通信鑑識官

      • 通信元の国やネットワークを調べる

      • 通信経路を追う

      • TLS指紋を照合する

    • ボット分析官

      • ボットの占有率を調べる

      • 協調して動くボットを探す

      • 人間を装う動きの可能性を調べる

    • 脅威情報調査官

      • 既知の脅威情報と照合する

      • 複数の情報源に載るIPを探す

      • WAF通過との重なりを見る

    • 防御評価官

      • WAFの遮断状況を調べる

      • 通過したアクセスの危険度を評価する

      • 優先する対策を考える

    一つの役職名の中に、入力も判断方法も違う仕事がいくつも隠れていた。

    このように仕事を分けていった結果、5人がログから異常を探す仕事は、最初の基本形として51個になった。

    51の仕事に、入口と出口を作る

    前に、仕事は「何を受け取り、何を成果として残すか」で区切ったと書いた。

    51個の仕事も同じである。

    何を調べるのか。何を受け取るのか。どんな結果を残せば、終わったと言えるのか。

    一人の専門家へ大きな判断を任せるのではなく、一つずつ結果と根拠を確かめられる仕事へ変えた。

    小さくしたのは、専門性ではない

    仕事は小さくしたが、専門性を削ったわけではない。

    一つの大きな回答の中に隠れていた仕事を、答えと根拠を一つずつ確かめられる形にした。

    利用者が読むのは、一本のレポートである。

    その裏で、51個の仕事が答えと根拠を積み上げ、5人の専門家として働く。

    ローカルLLMが急に賢くなったのではない。専門家の仕事を、ローカルLLMが実行し、別の工程から確かめられる大きさへ変えたのである。

    ただし、51という数は、最初から決まっていたわけではない。

    最初の案には、すでにあるデータの見落としも、ログだけでは答えられない問いもあった。実際のデータを読むたびに、専門家の仕事そのものを作り直していった。

    次回は、最初の38の問いから、どのように51の仕事へたどり着いたのかを書く。


    この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。

    開発した製品のリリース情報

    ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています:

     
     

    toshi

     
     
    教育DXエンジニア / 生成AI活用研究家 コンピュータ理工学修士/元大手ICTエンジニア。誰もが技術を使いこなし、その恩恵を受けられる社会を目指し、公立高の教育現場と二児の子育てに情熱を注ぐ。専業主夫見習い

    あなたへのおすすめ