
【AI開発のリアル #18】AIの仕事を、監査できるまで分解した
前回、ミツケルの中にある一つの仕事が、runbook、専用の入力データ、実行、出力、検査という工程で動くことを書いた。
ミツケルは、最初からローカルLLMで動いていたわけではない。
先に形になったのは、ログの集計をプログラムが行い、専門家の分析と所見のとりまとめをクラウドAIが担うプロトタイプだった。
そこから、実際の運用へ移す準備と、レポートの品質向上を並行して進めていた。
なぜ、一つのAIへ指示するだけでなく、そこまで細かな仕組みにしたのか。
この仕事を細かく分けた直接の理由は、ローカルLLMへ移すためではない。
AIが何を調べ、どのデータを使い、なぜその結論を書いたのか。人間が後から確認できるようにするためだった。
同じログを、何度も調べさせた
開発中、私は同じログを使い、クラウドAIの専門家パイプラインを何度も動かした。
一度よいレポートができたからといって、次も同じ品質になるとは限らなかったからである。
何を見つけたのか。
どのデータを使ったのか。
書かれた結論に根拠があるのか。
出てきたレポートを読み、疑問があれば元のデータまで戻って確かめた。
すると、実行するたびに、拾う情報や、どこまで言い切るかが変わった。
ログにない情報を補う。根拠の薄い所見を、重大な発見のように書く。判断に使えるデータを用意しているのに、存在しないものとして扱う。
AIに専門家らしい役割を与え、同じデータを渡すだけでは、同じ仕事をしてくれなかった。
38の問いを作っても、まだ足りなかった
そこでまず、5人の専門家AIが何を調べるのかを、38の問いに整理した。
さらに、各専門家AIに、どのデータを使えば答えられるのかを設計させた。
だが、その設計書を私が読むと、最初の問題が見つかった。
「取得できない」と書かれていたデータの一部が、別のファイルにすでに存在していた。
AIは、自分が使えるデータを正しく把握できていなかった。
そこで、何段階にも分かれた解析データを一覧にし、CDNのログから何が分かり、何は分からないのかも整理した。別のAIを監査役として置き、問いと入力を見直した。
それから、専門家パイプラインを実際に動かした。
出てきたのは、これまでになく内容の薄いレポートだった。
大量の解析データを用意したのに、その多くが使われていなかった。
問題があるたびに、私は出力だけを直させたのではない。
入力が足りないのか。
集めたデータを使っていないのか。
手順が曖昧なのか。
そもそも仕事の分け方が大きすぎるのか。
結果から工程をさかのぼり、どこに問題があるのかを確かめた。
AIの手順を、見えるようにする
何を集め、何を読み、何を根拠に判断するのかを、その場のAIに任せている限り、実行する担当によって仕事は変わる。
結果が悪いたびに、出力だけを書き直させても、次にまた同じ問題が起きる。
直すべきだったのは出力ではない。再現性のあるスクリプトで仕事を細分化し、その手順を、人間が確認できる形で残すことだった。
以前、役職を付けるだけでは仕事にならず、何を受け取り、何を成果として残すかを決めたと書いた。
今回は、さらにその途中を見えるようにした。
必要なデータは、専用のスクリプトで集める。
どのデータを読むのか。
何を確認するのか。
どこまで判断してよいか。
何を断定してはいけないか。
それをrunbookに残す。
出力する項目と形式を決め、最後に別の工程で検査する。
こうすれば、結果がおかしいときに、入力、手順、判断、出力のどこに問題があったのかをたどれる。
同じ文章を毎回出すことが目的ではない。
顧客や対象期間が変わっても、同じ観点と手順で調べ、結論から元のデータまで戻って監査できる状態を作ることが目的だった。
外へ出すデータも、見えるようにする
手順を見えるようにすることには、もう一つ意味があった。
顧客ログのどの部分をクラウドAIへ渡すのか。そこにどのような情報が含まれるのか。それも説明できなければならない。
担当AIが、その場で必要そうなファイルを探して読む方式では、何を外部へ送ったのかを明確にできない。
そこで、専門家ごとに使うデータを決め、必要な部分だけを専用の入力ファイルへまとめた。
これにより、専門家AIが必要なデータを本当に使ったのかだけでなく、クラウドへ渡す範囲も確認できるようになった。
監査できる単位にすると、51の仕事になった
最初の38は、専門家が何に答えるのかを並べた「問い」だった。
そこへ質問を13個足して、51にしたわけではない。
入力、手順、判断できる範囲、出力、検査まで含め、人間が途中をたどれる実行単位へ作り直した。
一つの問いを複数の工程へ分けたものもあれば、重なる問いをまとめ直したものもある。
その結果、5人の専門家の仕事は、最終的に51のサブタスクになった。
以前紹介した51の仕事は、ローカルLLMを動かすために最初から考えたものではない。
人間がAIの仕事を何度も監査し、問題の場所までたどれるように作り直した結果だった。
ローカルLLMへ移せる仕事が見えてきた
ローカルLLMへ移す構想は前からあった。
しかし、どの仕事なら任せられるのかは、まだ分かっていなかった。
完成した51の仕事は、使うデータも、判断する範囲も、返す成果も限定されていた。
ここまで小さくなっているなら、その一部はクラウドAIでなくても動かせるのではないか。
そこで、手元で動くローカルLLMへ、どの仕事を移せるか試し始めた。
次回は、51の仕事を一つずつ実際に動かし、ローカルLLMへ任せられる範囲を確かめていった話を書く。
この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。
開発した製品のリリース情報
ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています: