メインコンテンツへスキップ
見出し画像

【AI開発のリアル #18】AIの仕事を、監査できるまで分解した

    前回、ミツケルの中にある一つの仕事が、runbook、専用の入力データ、実行、出力、検査という工程で動くことを書いた。

    ミツケルは、最初からローカルLLMで動いていたわけではない。

    先に形になったのは、ログの集計をプログラムが行い、専門家の分析と所見のとりまとめをクラウドAIが担うプロトタイプだった。

    そこから、実際の運用へ移す準備と、レポートの品質向上を並行して進めていた。

    なぜ、一つのAIへ指示するだけでなく、そこまで細かな仕組みにしたのか。

    この仕事を細かく分けた直接の理由は、ローカルLLMへ移すためではない。

    AIが何を調べ、どのデータを使い、なぜその結論を書いたのか。人間が後から確認できるようにするためだった。

    同じログを、何度も調べさせた

    開発中、私は同じログを使い、クラウドAIの専門家パイプラインを何度も動かした。

    一度よいレポートができたからといって、次も同じ品質になるとは限らなかったからである。

    何を見つけたのか。
    どのデータを使ったのか。
    書かれた結論に根拠があるのか。

    出てきたレポートを読み、疑問があれば元のデータまで戻って確かめた。

    すると、実行するたびに、拾う情報や、どこまで言い切るかが変わった。

    ログにない情報を補う。根拠の薄い所見を、重大な発見のように書く。判断に使えるデータを用意しているのに、存在しないものとして扱う。

    AIに専門家らしい役割を与え、同じデータを渡すだけでは、同じ仕事をしてくれなかった。

    38の問いを作っても、まだ足りなかった

    そこでまず、5人の専門家AIが何を調べるのかを、38の問いに整理した。

    さらに、各専門家AIに、どのデータを使えば答えられるのかを設計させた。

    だが、その設計書を私が読むと、最初の問題が見つかった。

    「取得できない」と書かれていたデータの一部が、別のファイルにすでに存在していた。

    AIは、自分が使えるデータを正しく把握できていなかった。

    そこで、何段階にも分かれた解析データを一覧にし、CDNのログから何が分かり、何は分からないのかも整理した。別のAIを監査役として置き、問いと入力を見直した。

    それから、専門家パイプラインを実際に動かした。

    出てきたのは、これまでになく内容の薄いレポートだった。

    大量の解析データを用意したのに、その多くが使われていなかった。

    問題があるたびに、私は出力だけを直させたのではない。

    入力が足りないのか。
    集めたデータを使っていないのか。
    手順が曖昧なのか。
    そもそも仕事の分け方が大きすぎるのか。

    結果から工程をさかのぼり、どこに問題があるのかを確かめた。

    AIの手順を、見えるようにする

    何を集め、何を読み、何を根拠に判断するのかを、その場のAIに任せている限り、実行する担当によって仕事は変わる。

    結果が悪いたびに、出力だけを書き直させても、次にまた同じ問題が起きる。

    直すべきだったのは出力ではない。再現性のあるスクリプトで仕事を細分化し、その手順を、人間が確認できる形で残すことだった。

    以前、役職を付けるだけでは仕事にならず、何を受け取り、何を成果として残すかを決めたと書いた。

    今回は、さらにその途中を見えるようにした。

    必要なデータは、専用のスクリプトで集める。

    どのデータを読むのか。
    何を確認するのか。
    どこまで判断してよいか。
    何を断定してはいけないか。

    それをrunbookに残す。

    出力する項目と形式を決め、最後に別の工程で検査する。

    こうすれば、結果がおかしいときに、入力、手順、判断、出力のどこに問題があったのかをたどれる。

    同じ文章を毎回出すことが目的ではない。

    顧客や対象期間が変わっても、同じ観点と手順で調べ、結論から元のデータまで戻って監査できる状態を作ることが目的だった。

    外へ出すデータも、見えるようにする

    手順を見えるようにすることには、もう一つ意味があった。

    顧客ログのどの部分をクラウドAIへ渡すのか。そこにどのような情報が含まれるのか。それも説明できなければならない。

    担当AIが、その場で必要そうなファイルを探して読む方式では、何を外部へ送ったのかを明確にできない。

    そこで、専門家ごとに使うデータを決め、必要な部分だけを専用の入力ファイルへまとめた。

    これにより、専門家AIが必要なデータを本当に使ったのかだけでなく、クラウドへ渡す範囲も確認できるようになった。

    監査できる単位にすると、51の仕事になった

    最初の38は、専門家が何に答えるのかを並べた「問い」だった。

    そこへ質問を13個足して、51にしたわけではない。

    入力、手順、判断できる範囲、出力、検査まで含め、人間が途中をたどれる実行単位へ作り直した。

    一つの問いを複数の工程へ分けたものもあれば、重なる問いをまとめ直したものもある。

    その結果、5人の専門家の仕事は、最終的に51のサブタスクになった。

    以前紹介した51の仕事は、ローカルLLMを動かすために最初から考えたものではない。

    人間がAIの仕事を何度も監査し、問題の場所までたどれるように作り直した結果だった。

    ローカルLLMへ移せる仕事が見えてきた

    ローカルLLMへ移す構想は前からあった。

    しかし、どの仕事なら任せられるのかは、まだ分かっていなかった。

    完成した51の仕事は、使うデータも、判断する範囲も、返す成果も限定されていた。

    ここまで小さくなっているなら、その一部はクラウドAIでなくても動かせるのではないか。

    そこで、手元で動くローカルLLMへ、どの仕事を移せるか試し始めた。

    次回は、51の仕事を一つずつ実際に動かし、ローカルLLMへ任せられる範囲を確かめていった話を書く。


    この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。

    開発した製品のリリース情報

    ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています:


     
     

    toshi

     
     
    教育DXエンジニア / 生成AI活用研究家 コンピュータ理工学修士/元大手ICTエンジニア。誰もが技術を使いこなし、その恩恵を受けられる社会を目指し、公立高の教育現場と二児の子育てに情熱を注ぐ。専業主夫見習い

    あなたへのおすすめ