
【AI開発のリアル #17】 ローカルLLMを製品にするには、プロンプトだけでは足りなかった
前回、ミツケルの中でログを調べる5人の専門家を51の仕事へ分け、次は最初の38の問いからその形へたどり着くまでを書くと予告した。
だが、数が変わった過程だけを追っても、その「仕事」の実体は分からない。
そこで今回は、その中から一つを取り出し、実際に何を作ったのか、技術とファイルの流れまで踏み込む。
作ったのは、プロンプトの一覧ではない。手順書、専用の入力データ、実行する仕組み、結果を検査する仕組みである。
AIの答えが返っただけでは、仕事は終わらない。
一つの仕事には、中心となる問いがある
例にするのは、脅威探索官が担当する「攻撃パスへの200応答を調べる」という仕事である。
攻撃目的と疑われるURLへのアクセスに、200の応答が返っている。
だが、200が返っただけでは、攻撃が成功したとは言えない。
【200応答と、攻撃成功は別】WAFが不審なアクセスを拒み、処理先へ通さないことを、ここでは「遮断」と呼ぶ。遮断された場合、一般には403などの番号が記録される。一方の200は、Webの仕組みが「正常な応答」として返した番号である。ただし、この番号だけでは、何が返されたのかまでは分からない。200は詳しく調べる必要があるという入口であり、攻撃成功の証拠ではない。
この仕事の目的は、ログに残っている事実から、どこまで確認できるのかを調べることである。
ここでいう「一つの問い」は、この仕事で何を明らかにするのかという中心的な目的である。
ローカルLLMへ一度だけ問いを投げる、という意味ではない。
runbookで、手順と判断範囲を固定する
分けた仕事には、それぞれ専用のrunbookを用意した。
ここで説明するのは、「攻撃パスへの200応答を調べる」という仕事のrunbookである。
runbookは、Markdownという文章ファイルの形式で書いた作業手順書である。AIに専門家らしい性格を演じさせるための設定ではない。何を確認し、どこまで判断してよいのかを固定する。
このrunbookには、次のようなことを書いた。
攻撃目的と疑われるパスに、200が返った事実を確認する
応答サイズと、そのばらつきを確認する
応答サイズから推測したsoft404の可能性は、判断材料の一つに留める
ログから直接確認できたことと、推測を分ける
判断できない場合は「要追加調査」とする
「情報が漏洩した」と断定しない
判断の根拠を、入力データまでたどれるようにする
【soft404とは】実際には「ページが見つからない」などのエラー内容を返しているのに、応答の番号は404ではなく200になっている状態。番号だけを見ると正常なページと区別できない。ミツケルが扱うログにはページ本文が含まれないため、応答サイズやそのばらつきを判断材料にするが、それだけではsoft404と断定できない。
何を答えるかだけではない。
何を答えてはいけないかまで、先に決めた。
collectorで、必要なデータだけを用意する
次に、collectorというPythonスクリプトが動く。
ミツケルの解析工程には、集計結果、個別アクセス、攻撃パス、応答サイズ、通信元の情報など、多くのデータがある。
それを全部ローカルLLMへ渡すのではない。
collectorが複数の解析結果を読み、この仕事に必要なデータだけを集め、プログラムが扱いやすいJSON形式の入力ファイルへ整える。
件数を数える。対象のIPとURLを抜き出す。200応答のサイズと、その分布を確認する。
応答サイズがゼロなのか。同じようなサイズの応答が繰り返されているのか。それとも応答サイズに幅があるのか。
数えられる事実や比較できる数字は、前に書いたように、AIではなくスクリプトで確定する。soft404の可能性を考える材料も、ここで用意する。
ローカルLLMには、計算させるのではなく、その結果が何を意味するのかを考えさせた。
小さな仕事を、vLLMへ流す
入力ができると、実行スクリプトがrunbookと入力ファイルを組み合わせ、vLLMへ処理を投げる。
【vLLMとは】LLMをGPU上で動かし、スクリプトからの依頼を受け付ける推論サーバー。LLMそのものではない。届いた複数の依頼を組み合わせ、効率よく処理できる。私たちの環境では、一回の処理で扱う上限を256に設定し、スクリプト側から仕事を並列に送った。常に256件が同時に完了するという意味ではないが、小さな仕事を一件ずつ待たず、大量に流せる基盤になった。
一つの仕事と、一回の推論は同じではない。
入力データが足りているかを確かめる。所見を作る。出力に問題がないかを別の問いで検査する。見落としがないかを確かめる。
データ量が多ければ、対象を分けて繰り返す。
一つの仕事を終えるまでに、ローカルLLMへ複数回の推論を依頼する。51の仕事は、51回の推論という意味ではない。
ローカルLLMには、作業の段階ごとに、runbookと必要なデータ、その段階で確認する問いを一組にして渡す。
所見を作る段階では、ローカルLLMがrunbookに従って結果を書き、Markdownの出力ファイルとして残す。
チャット画面で人間と会話するわけではない。
スクリプトの途中から呼び出され、決められた仕事を行い、結果を返す。以前書いた、クラウドAIが使う「手足」と同じ使い方を、製品の中へ組み込んだ。
出力を検査して、初めて完了する
結果が返れば終わりではない。
出力を作る処理とは別に、runbook、入力データ、ローカルLLMの出力を読み比べる検査処理を置いた。
求めた項目が抜けていないか。
入力にない数字を書いていないか。
根拠としたデータを示しているか。
禁止した断定をしていないか。
検査にもローカルLLMを使い、結果をJSONファイルへ残す。これは、以前書いた「AIの答えは、別のAIに疑わせる」という考え方を、一つの仕事の検査へ持ち込んだものである。
さらに、出力に書かれた数字が本当に入力データに存在するかは、AIではなくスクリプトで確認する。
検査を通らなければ、その仕事は完了したことにしない。
作ったのは、プロンプトではなく工程
一つの仕事は、次の流れで動く。
Markdownのrunbookで、問い、手順、判断範囲を決める
Pythonのcollectorで、必要なデータをJSONへ整える
実行スクリプトから、runbookとJSONを使い、段階ごとの問いをvLLMへ渡す
ローカルLLMの結果を、Markdownへ残す
別の検査処理とスクリプトで確かめ、検査結果をJSONへ残す
この仕組みを、専門家ごとに分けた仕事の一つひとつに用意した。
ミツケルの中にあるのは、プロンプトの一覧ではない。
大量のログを処理した解析結果から必要なデータを取り出し、ローカルLLMに小さな確認と判断を繰り返させ、その結果を確かめられる一連の工程である。
だが、その工程の境界は、最初から決まっていたわけではない。
最初にできたのは、38の問いだった。
次回は、実際のデータを見るたびに仕事の境界を引き直し、38の問いが51の工程になるまでを書く。
この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。
開発した製品のリリース情報
ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています: