
【AI開発のリアル #16】 5人の専門家を、51の仕事に分解した
前回、開発するクラウドAIが、ローカルLLMを「手足」として使った話を書いた。
クラウドAIが仕事を小さく分け、スクリプトからローカルLLMを呼び出す。この使い方なら、何を処理し、何を答えたのかを後から確かめられる。
そこで、この方法を製品の中へ持ち込んだ。
前半で、ミツケルは「セキュリティ会社を箱に詰めた」ような製品だと書いた。
ログを直接調べるのは、役割の違う5人の専門家AIである。
だが、「専門家」と名前を付けただけでは、専門家の仕事にはならない。
役職名だけでは、専門家は動かない
「攻撃を調べる専門家」といっても、その仕事は一つではない。
その仕事を分けていくと、例えば次のようになる。
脅威探索官
WAFを通過したアクセスを探す
狙われた資産を特定する
ログから攻撃の狙いを推定する
通信鑑識官
通信元の国やネットワークを調べる
通信経路を追う
TLS指紋を照合する
ボット分析官
ボットの占有率を調べる
協調して動くボットを探す
人間を装う動きの可能性を調べる
脅威情報調査官
既知の脅威情報と照合する
複数の情報源に載るIPを探す
WAF通過との重なりを見る
防御評価官
WAFの遮断状況を調べる
通過したアクセスの危険度を評価する
優先する対策を考える
一つの役職名の中に、入力も判断方法も違う仕事がいくつも隠れていた。
このように仕事を分けていった結果、5人がログから異常を探す仕事は、最初の基本形として51個になった。
51の仕事に、入口と出口を作る
前に、仕事は「何を受け取り、何を成果として残すか」で区切ったと書いた。
51個の仕事も同じである。
何を調べるのか。何を受け取るのか。どんな結果を残せば、終わったと言えるのか。
一人の専門家へ大きな判断を任せるのではなく、一つずつ結果と根拠を確かめられる仕事へ変えた。
小さくしたのは、専門性ではない
仕事は小さくしたが、専門性を削ったわけではない。
一つの大きな回答の中に隠れていた仕事を、答えと根拠を一つずつ確かめられる形にした。
利用者が読むのは、一本のレポートである。
その裏で、51個の仕事が答えと根拠を積み上げ、5人の専門家として働く。
ローカルLLMが急に賢くなったのではない。専門家の仕事を、ローカルLLMが実行し、別の工程から確かめられる大きさへ変えたのである。
ただし、51という数は、最初から決まっていたわけではない。
最初の案には、すでにあるデータの見落としも、ログだけでは答えられない問いもあった。実際のデータを読むたびに、専門家の仕事そのものを作り直していった。
次回は、最初の38の問いから、どのように51の仕事へたどり着いたのかを書く。
この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。
開発した製品のリリース情報
ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています: