メインコンテンツへスキップ
見出し画像

【AI開発のリアル #46】 DGX Sparkが、製品そのものになった

    「ミツケル」は、Webサイトに来たアクセスの記録を解析して、月次のレポートを出す製品である。

    この製品は Claude Code で開発した。

    今回は「ミツケル」 を詰めた箱について話をしたい。

    5月8日、DGX Sparkが届いた

    私は、このハードの存在を知らなかった。5月8日、代表から一台の機械が届いた。

    それがDGX Sparkだった。

    DGX Sparkは、大きなAIモデルをクラウドに頼らず手元で動かすための、卓上型コンピューターである。

    15センチ角、厚さ5センチ。その中に、128GBのメモリと4TBのSSD、そして NVIDIAのGPU が入っている。

    本来は、生成AIや推論処理に使うための性能である。

    ただ、最初にこの性能を使ったのは、AIではなかった。

    まず、ログ処理を移した

    開発当初から、解析は手元のMacBook Proで回していた。M4 Pro、48GBメモリ、2TB SSDの構成だった。

    一か月ぶんのログは数千万から、多いと数十億のレコードにも上る。

    大量のデータを読み込み、集計し、途中の結果を書き出す。

    それには、速いストレージと、大量のメモリが必要となる。

    DGX Sparkには、その両方が入っていた。

    結果として、DGX Sparkはまずログ処理に使うことになった。

    レポートを書く前に、もう一段調べる

    ログそのものの解析は、スクリプトで行う。

    大量のログを集計し、見るべきものを絞り込む。最初は、その解析結果をClaudeに渡し、所見をまとめてレポートを書かせていた。

    ローカルLLM自体は、開発の手足として先に使っていた。同じ使い方を、製品の中へ持ち込んだ。

    ただ、集計結果だけを見て文章を書くより、その手前で、絞り込まれたログを一件ずつ詳しく確認できた方がいい。

    そこで、スクリプトが絞り込んだログをローカルLLMに渡し、それぞれを個別に調べさせるようにした。

    ローカルLLMが調べた結果をClaudeに渡し、Claudeはその材料を読んでレポートを書く。

    レポートを書く前に、もう一段詳しく調べる工程を挟んだ。

    その工程が、L4になった

    箱の中で大量の推論を回せるようになって、工程に層が一つ増えた。

    「ミツケル」 では生ログを受け取ってからレポートにするまでを、役割ごとの工程に分けている。 #2 の図では先に完成形を見せたが、その工程を順に書くと、こうなる。

    • RAW 「どのログを、どれだけ読むのか」/ 生ログ取込

    • L1 「何が起きているか」/ アクセス解析

    • L2 「正常に見えるが異常か」/ ふるい分け

    • L3 「どのように異常か」/ 振る舞いの復元

    • L4 「異常な IP は何者か」/ IP単位でのAI解析

    • L5 「だから何をすべきか」/ AI専門家が調査

    • REPORT 顧客向け納品 / レポート作成

    このうち、絞り込まれたIPをローカルLLMが一件ずつ調べる工程がL4である。第2回の図で「AI尋問──異常なIPは何者か」と書いた部分だ。

    L4では、複数のローカルLLMを使い分ける。同じIPを防御する側と攻撃する側から調べ、最後に両方の見解をまとめる。

    第2回で見せたサンプルでは、一つのIPにつき11回。最大500IPなら、5,500回の推論になる。

    DGX Sparkが届いたことで、この回数を手元で回せるようになった。

    それでも、所見は箱の外に残っていた

    L4が箱に入っても、その結果を読み、専門家の所見をまとめ、レポートを書くのはClaudeのままだった。

    IPを一件ずつ調べるところまでは、箱の中にある。だが、その先のL5とREPORTでは、解析結果をクラウドAIへ渡していた。

    解析が箱に入っても、そこだけは外に残っていた。

    AI専門家も箱に詰めた

    AI専門家の仕事は、すでに人間が途中をたどれる51の仕事へ分けてあった。

    AIは入力のたびに別人になる。そのため、一つの仕事ごとに手順書と必要な入力を用意し、毎回そろえて渡す形にしていた。

    その小さな仕事を、一つずつローカルLLMへ移した。

    所見の作成から出力の検査まで、ローカルLLMとスクリプトで動く形へ変えた。

    これで、L5までが箱の中に入った。

    箱の中で、レポートまで終わる

    最初にDGX Sparkへ移したのは、ログの集計だった。
    そこへL4の個別調査が入り、L5の所見作成とREPORTも順に移していった。

    最後には、生ログを読み込むところから、怪しいIPを絞り込み、一件ずつ調べ、専門家の所見を作り、顧客向けのレポートにまとめるところまで、一台の中でつながった。

    第2回で先に見せた「外部送信0」は、こうしてできた。
    解析途中のログや材料を、外部のAIへ渡す工程がなくなった。

    DGX Sparkは、AIを動かすための箱ではなく、ミツケルそのものを収める箱になった。


    この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。

    開発した製品のリリース情報

    ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています:


     
     

    toshi

     
     
    教育DXエンジニア / 生成AI活用研究家 コンピュータ理工学修士/元大手ICTエンジニア。誰もが技術を使いこなし、その恩恵を受けられる社会を目指し、公立高の教育現場と二児の子育てに情熱を注ぐ。専業主夫見習い

    あなたへのおすすめ