メインコンテンツへスキップ
見出し画像

【AI開発のリアル #47】 プロトタイプは初日にできた。製品になるまで78日かかった

    「ミツケル」は、4月10日に作り始めて、6月27日に世に出した。

    78日だった。

    振り返ると、ずっと同じものを作っていたわけではない。

    作ること自体は、かなり早い段階からできていた。

    難しかったのは、その先だった。

    4月 ── 作れた。でも、顧客に何を届けるべきか分からなかった

    開発に着手した日のうちに、プロトタイプはできた。

    数億レコードを解析し、その結果をAI専門家に読ませてレポートにする。

    出来上がったものは、見た目には十分に立派だった。

    その日のうちに代表にも見せた。

    だが数日後、改めて「これを顧客に渡して価値があるか」という目で読み直すと、問題が見えた。

    8つの章のうち6つが、集計した数字を言い換えたものだった。CDNの管理画面で見られることを、並べ直していただけである。

    AI専門家らしく、どんな攻撃があり、どんな脅威があるのかは詳しく書いてある。

    しかし、顧客が知りたい「では、何をすればいいのか」には答えていなかった。

    しかも、専門家らしく見せようとするほど、推測を重ねて強く言い切ることがあった。

    顧客がほしがっているのは、その先だった。

    用意した解析結果は、一つも使われていなかった。

    そこで、すぐに完成形を決めたわけではない。

    顧客の問いを割り、何を見せれば納得できるかを考え、一つのAIに全部を任せるのもやめた。

    作って、見直して、違うと思えばまた変える。

    何を顧客に見せれば価値になるのかは決まらないまま、5月に入った。

    5月 ── 顧客が欲しいものが、ようやく見えた

    5月に入っても、レポートの完成形はまだ決まっていなかった。

    その一方で、解析を回す場所は変わっていった。

    MacBookで動かしていた処理を、5月8日に届いたDGX Sparkへ順番に移した。

    ログ解析を移し、ローカルLLMを使う工程も増やしていった。

    ただ、この月に大きく変わったのは、置き場所だけではない。

    パートナー経由で話を聞いていくと、顧客が求めているものは、WAFの延長に近いことが分かってきた。

    「何をブロックすればいいのか」を知りたい。

    しかし、それだけならWAF自身ができる。この製品が同じことをしても、価値は出ない。

    そこで、見る場所を変えた。

    WAFが止めた通信ではなく、WAFを通り抜けた通信を見る。

    たとえば、攻撃に使われるパスへアクセスされ、実際にHTTP 200が返ったものは何件あるのか。

    ボットによるアクセスは、全体の何割を占めているのか。

    こうした問いなら、WAFとは違う立ち位置で、顧客に直接答えを返せる。

    5月中旬ごろから、レポートの中心はこの方向へ固まっていった。

    同じころ、製品の中では工程を層に分け、絞り込んだログをローカルLLMに一件ずつ調べさせるL4も動き始めていた。

    最終レポートを書くAI専門家の工程も、クラウドからローカルへ移す方向が見えていた。

    何を顧客に届けるかが、ようやく見えた。

    ただし、形が見えたことと、その中身を信じられることは別だった。

    6月 ── 動いた。だから、今度は全部を疑った

    6月の頭には、ほぼ全工程がDGX Sparkの中で動くようになった。

    ログをスクリプトで解析し、L4で一件ずつ確認し、AI専門家が所見を作り、最後のレポートまでローカルLLMで書く。

    製品としては、ほぼ完成していた。

    クラウドのAIを使わなくても、一つの箱の中でレポートまで作れるようになった。

    だが、出てきたレポートを元データまで戻って確認すると、別の問題が出た。

    存在しない情報が書かれる。

    数字が違う。

    可能性にすぎないものを、強い事実として書く。

    同じレポートの中で説明が矛盾する。

    古いレポートの所見を10件選んで元データと照らすと、事実だったのは1件だった。

    4件は誇張、5件は元のデータに存在しない数字だった。

    ここからは、作るより、疑う時間が長くなった。

    仕組みを作り直す。

    大量のデータをもう一度流す。

    結果を元データと照らす。

    問題が出た場所を探し、また直す。

    それを何度も繰り返した。

    数値はスクリプトで計算し、LLMが出した数値は使わない。

    確認できないことは、事実として書かせない。

    可能性しか言えないものは、可能性のまま残す。

    動いていても、正しくなければ設計ごと捨てた。

    品質を判断する速さが、開発全体の速さを決めるようになった。

    AIの「すべて完了」を、完了にしなかった。

    4月には、AI専門家が書いた「立派なレポート」を作ろうとしていた。

    6月27日に世に出したものは、かなり違う。

    顧客が知りたい問いを絞り、確認できた事実を中心に書く。

    分からないものは、分からないまま残す。

    立派に見えることより、信じて使えることを優先するレポートになった。


    78日で一番変わったのは、AIが書ける文章の量ではなかった。

    何を顧客に届けるのか。その答えの方だった。

    初日から、レポートを作ることはできた。

    5月には、そのレポートで何に答えるべきかが見えた。

    6月は、その答えを本当に信じてよいのかを、ひたすら確かめた。

    その途中で、処理はMacBookからDGX Sparkへ移り、最後にはクラウドAIも外れた。

    作る速度は速かった。

    それでも、製品になるまでには78日かかった。


    この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。

    開発した製品のリリース情報

    ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています:


     
     

    toshi

     
     
    教育DXエンジニア / 生成AI活用研究家 コンピュータ理工学修士/元大手ICTエンジニア。誰もが技術を使いこなし、その恩恵を受けられる社会を目指し、公立高の教育現場と二児の子育てに情熱を注ぐ。専業主夫見習い

    あなたへのおすすめ