メインコンテンツへスキップ
見出し画像

【AI開発のリアル #17】 ローカルLLMを製品にするには、プロンプトだけでは足りなかった

    前回、ミツケルの中でログを調べる5人の専門家を51の仕事へ分け、次は最初の38の問いからその形へたどり着くまでを書くと予告した。

    だが、数が変わった過程だけを追っても、その「仕事」の実体は分からない。

    そこで今回は、その中から一つを取り出し、実際に何を作ったのか、技術とファイルの流れまで踏み込む。

    作ったのは、プロンプトの一覧ではない。手順書、専用の入力データ、実行する仕組み、結果を検査する仕組みである。

    AIの答えが返っただけでは、仕事は終わらない。

    一つの仕事には、中心となる問いがある

    例にするのは、脅威探索官が担当する「攻撃パスへの200応答を調べる」という仕事である。

    攻撃目的と疑われるURLへのアクセスに、200の応答が返っている。

    だが、200が返っただけでは、攻撃が成功したとは言えない。

    【200応答と、攻撃成功は別】WAFが不審なアクセスを拒み、処理先へ通さないことを、ここでは「遮断」と呼ぶ。遮断された場合、一般には403などの番号が記録される。一方の200は、Webの仕組みが「正常な応答」として返した番号である。ただし、この番号だけでは、何が返されたのかまでは分からない。200は詳しく調べる必要があるという入口であり、攻撃成功の証拠ではない。

    この仕事の目的は、ログに残っている事実から、どこまで確認できるのかを調べることである。

    ここでいう「一つの問い」は、この仕事で何を明らかにするのかという中心的な目的である。

    ローカルLLMへ一度だけ問いを投げる、という意味ではない。

    runbookで、手順と判断範囲を固定する

    分けた仕事には、それぞれ専用のrunbookを用意した。

    ここで説明するのは、「攻撃パスへの200応答を調べる」という仕事のrunbookである。

    runbookは、Markdownという文章ファイルの形式で書いた作業手順書である。AIに専門家らしい性格を演じさせるための設定ではない。何を確認し、どこまで判断してよいのかを固定する。

    このrunbookには、次のようなことを書いた。

    • 攻撃目的と疑われるパスに、200が返った事実を確認する

    • 応答サイズと、そのばらつきを確認する

    • 応答サイズから推測したsoft404の可能性は、判断材料の一つに留める

    • ログから直接確認できたことと、推測を分ける

    • 判断できない場合は「要追加調査」とする

    • 「情報が漏洩した」と断定しない

    • 判断の根拠を、入力データまでたどれるようにする

    【soft404とは】実際には「ページが見つからない」などのエラー内容を返しているのに、応答の番号は404ではなく200になっている状態。番号だけを見ると正常なページと区別できない。ミツケルが扱うログにはページ本文が含まれないため、応答サイズやそのばらつきを判断材料にするが、それだけではsoft404と断定できない。

    何を答えるかだけではない。

    何を答えてはいけないかまで、先に決めた。

    collectorで、必要なデータだけを用意する

    次に、collectorというPythonスクリプトが動く。

    ミツケルの解析工程には、集計結果、個別アクセス、攻撃パス、応答サイズ、通信元の情報など、多くのデータがある。

    それを全部ローカルLLMへ渡すのではない。

    collectorが複数の解析結果を読み、この仕事に必要なデータだけを集め、プログラムが扱いやすいJSON形式の入力ファイルへ整える。

    件数を数える。対象のIPとURLを抜き出す。200応答のサイズと、その分布を確認する。

    応答サイズがゼロなのか。同じようなサイズの応答が繰り返されているのか。それとも応答サイズに幅があるのか。

    数えられる事実や比較できる数字は、前に書いたように、AIではなくスクリプトで確定する。soft404の可能性を考える材料も、ここで用意する。

    ローカルLLMには、計算させるのではなく、その結果が何を意味するのかを考えさせた。

    小さな仕事を、vLLMへ流す

    入力ができると、実行スクリプトがrunbookと入力ファイルを組み合わせ、vLLMへ処理を投げる。

    【vLLMとは】LLMをGPU上で動かし、スクリプトからの依頼を受け付ける推論サーバー。LLMそのものではない。届いた複数の依頼を組み合わせ、効率よく処理できる。私たちの環境では、一回の処理で扱う上限を256に設定し、スクリプト側から仕事を並列に送った。常に256件が同時に完了するという意味ではないが、小さな仕事を一件ずつ待たず、大量に流せる基盤になった。

    一つの仕事と、一回の推論は同じではない。

    入力データが足りているかを確かめる。所見を作る。出力に問題がないかを別の問いで検査する。見落としがないかを確かめる。

    データ量が多ければ、対象を分けて繰り返す。

    一つの仕事を終えるまでに、ローカルLLMへ複数回の推論を依頼する。51の仕事は、51回の推論という意味ではない。

    ローカルLLMには、作業の段階ごとに、runbookと必要なデータ、その段階で確認する問いを一組にして渡す。

    所見を作る段階では、ローカルLLMがrunbookに従って結果を書き、Markdownの出力ファイルとして残す。

    チャット画面で人間と会話するわけではない。

    スクリプトの途中から呼び出され、決められた仕事を行い、結果を返す。以前書いた、クラウドAIが使う「手足」と同じ使い方を、製品の中へ組み込んだ。

    出力を検査して、初めて完了する

    結果が返れば終わりではない。

    出力を作る処理とは別に、runbook、入力データ、ローカルLLMの出力を読み比べる検査処理を置いた。

    求めた項目が抜けていないか。
    入力にない数字を書いていないか。
    根拠としたデータを示しているか。
    禁止した断定をしていないか。

    検査にもローカルLLMを使い、結果をJSONファイルへ残す。これは、以前書いた「AIの答えは、別のAIに疑わせる」という考え方を、一つの仕事の検査へ持ち込んだものである。

    さらに、出力に書かれた数字が本当に入力データに存在するかは、AIではなくスクリプトで確認する。

    検査を通らなければ、その仕事は完了したことにしない。

    作ったのは、プロンプトではなく工程

    一つの仕事は、次の流れで動く。

    • Markdownのrunbookで、問い、手順、判断範囲を決める

    • Pythonのcollectorで、必要なデータをJSONへ整える

    • 実行スクリプトから、runbookとJSONを使い、段階ごとの問いをvLLMへ渡す

    • ローカルLLMの結果を、Markdownへ残す

    • 別の検査処理とスクリプトで確かめ、検査結果をJSONへ残す

    この仕組みを、専門家ごとに分けた仕事の一つひとつに用意した。

    ミツケルの中にあるのは、プロンプトの一覧ではない。

    大量のログを処理した解析結果から必要なデータを取り出し、ローカルLLMに小さな確認と判断を繰り返させ、その結果を確かめられる一連の工程である。

    だが、その工程の境界は、最初から決まっていたわけではない。

    最初にできたのは、38の問いだった。

    次回は、実際のデータを見るたびに仕事の境界を引き直し、38の問いが51の工程になるまでを書く。


    この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。

    開発した製品のリリース情報

    ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています:


     
     

    toshi

     
     
    教育DXエンジニア / 生成AI活用研究家 コンピュータ理工学修士/元大手ICTエンジニア。誰もが技術を使いこなし、その恩恵を受けられる社会を目指し、公立高の教育現場と二児の子育てに情熱を注ぐ。専業主夫見習い

    あなたへのおすすめ