
【AI開発のリアル #47】 プロトタイプは初日にできた。製品になるまで78日かかった
「ミツケル」は、4月10日に作り始めて、6月27日に世に出した。
78日だった。
振り返ると、ずっと同じものを作っていたわけではない。
作ること自体は、かなり早い段階からできていた。
難しかったのは、その先だった。
4月 ── 作れた。でも、顧客に何を届けるべきか分からなかった
開発に着手した日のうちに、プロトタイプはできた。
数億レコードを解析し、その結果をAI専門家に読ませてレポートにする。
出来上がったものは、見た目には十分に立派だった。
その日のうちに代表にも見せた。
だが数日後、改めて「これを顧客に渡して価値があるか」という目で読み直すと、問題が見えた。
8つの章のうち6つが、集計した数字を言い換えたものだった。CDNの管理画面で見られることを、並べ直していただけである。
AI専門家らしく、どんな攻撃があり、どんな脅威があるのかは詳しく書いてある。
しかし、顧客が知りたい「では、何をすればいいのか」には答えていなかった。
しかも、専門家らしく見せようとするほど、推測を重ねて強く言い切ることがあった。
そこで、すぐに完成形を決めたわけではない。
顧客の問いを割り、何を見せれば納得できるかを考え、一つのAIに全部を任せるのもやめた。
作って、見直して、違うと思えばまた変える。
何を顧客に見せれば価値になるのかは決まらないまま、5月に入った。
5月 ── 顧客が欲しいものが、ようやく見えた
5月に入っても、レポートの完成形はまだ決まっていなかった。
その一方で、解析を回す場所は変わっていった。
MacBookで動かしていた処理を、5月8日に届いたDGX Sparkへ順番に移した。
ログ解析を移し、ローカルLLMを使う工程も増やしていった。
ただ、この月に大きく変わったのは、置き場所だけではない。
パートナー経由で話を聞いていくと、顧客が求めているものは、WAFの延長に近いことが分かってきた。
「何をブロックすればいいのか」を知りたい。
しかし、それだけならWAF自身ができる。この製品が同じことをしても、価値は出ない。
そこで、見る場所を変えた。
WAFが止めた通信ではなく、WAFを通り抜けた通信を見る。
たとえば、攻撃に使われるパスへアクセスされ、実際にHTTP 200が返ったものは何件あるのか。
こうした問いなら、WAFとは違う立ち位置で、顧客に直接答えを返せる。
5月中旬ごろから、レポートの中心はこの方向へ固まっていった。
同じころ、製品の中では工程を層に分け、絞り込んだログをローカルLLMに一件ずつ調べさせるL4も動き始めていた。
最終レポートを書くAI専門家の工程も、クラウドからローカルへ移す方向が見えていた。
何を顧客に届けるかが、ようやく見えた。
ただし、形が見えたことと、その中身を信じられることは別だった。
6月 ── 動いた。だから、今度は全部を疑った
6月の頭には、ほぼ全工程がDGX Sparkの中で動くようになった。
ログをスクリプトで解析し、L4で一件ずつ確認し、AI専門家が所見を作り、最後のレポートまでローカルLLMで書く。
製品としては、ほぼ完成していた。
クラウドのAIを使わなくても、一つの箱の中でレポートまで作れるようになった。
だが、出てきたレポートを元データまで戻って確認すると、別の問題が出た。
存在しない情報が書かれる。
数字が違う。
可能性にすぎないものを、強い事実として書く。
同じレポートの中で説明が矛盾する。
古いレポートの所見を10件選んで元データと照らすと、事実だったのは1件だった。
4件は誇張、5件は元のデータに存在しない数字だった。
ここからは、作るより、疑う時間が長くなった。
仕組みを作り直す。
大量のデータをもう一度流す。
結果を元データと照らす。
問題が出た場所を探し、また直す。
それを何度も繰り返した。
確認できないことは、事実として書かせない。
可能性しか言えないものは、可能性のまま残す。
4月には、AI専門家が書いた「立派なレポート」を作ろうとしていた。
6月27日に世に出したものは、かなり違う。
顧客が知りたい問いを絞り、確認できた事実を中心に書く。
分からないものは、分からないまま残す。
立派に見えることより、信じて使えることを優先するレポートになった。
78日で一番変わったのは、AIが書ける文章の量ではなかった。
何を顧客に届けるのか。その答えの方だった。
初日から、レポートを作ることはできた。
5月には、そのレポートで何に答えるべきかが見えた。
6月は、その答えを本当に信じてよいのかを、ひたすら確かめた。
その途中で、処理はMacBookからDGX Sparkへ移り、最後にはクラウドAIも外れた。
作る速度は速かった。
それでも、製品になるまでには78日かかった。
この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。
開発した製品のリリース情報
ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています: