メインコンテンツへスキップ
見出し画像

【AI開発のリアル #43】 「大丈夫」とは言えない。「知らなかった」は、なくせる

    「ミツケル」の中身は一度では説明しきれないので、店の記録に置き換えて書いてきた。ここからは、実物の話に戻る。

    前回、完全に行き止まりだった。何が危険かは、機械にも人にも決められなかった。

    足りないのは、「比べる」だけだった

    「大丈夫」に近づくには三つが要る。見る・覚える・比べる、である。

    • 見る ── 記録を取る仕組みは、売っている

    • 覚える ── 保存する仕組みも、売っている

    • 比べる ── 続けているものが、一つもない

    やればできる。だが、人手でやると割に合わない。だから誰もやっていなかった。

    作るべきものは、はっきりしていた。「比べる」を機械にやらせる。 それだけである。

    それを、二度作り損ねた。

    一度目 ── 専門家に、そのまま読ませた

    最初は、単純に考えていた。AIを専門家として動かし、ログを直接読ませればいい。

    やってみると、数字と名前が並んだだけのものが返ってきた。

    原因は、頼み方のほうにあった。店の話では、扉を一度押しただけの客に「事務所を狙っていた」と理由が付いた。見つけろと頼めば、無くても見つけてくる。

    何を見るのかと、何と比べるのかは、先に人が決めなければならない。そこを飛ばして、読む側に投げていた。

    二度目 ── 外れたものを、出すだけで止まった

    線が引けないのなら、外れたものを出せばいい。

    来客を重ねてふつうの形を作り、そこから離れた人を拾う。この形なら、何が危ないかを先に決めなくて済む。出来合いの手法が揃っていたので、そのまま入れた。

    動きはした。外れたものが、ちゃんと出てくる。

    問題は、出てきたものだった。

    上に並んだのは、正規の検索エンジンのクローラだった。誰でも知っている、まっとうな相手である。ふつうの利用者とはまるで違う動きをするので、外れる。外れているが、まっとうである。

    ふつうと違うことと、危ないことは、別だった。

    そして、外れたものを並べ終えても、その先が無い。

    「ふつうと違います」では、店長は手が打てない。並ぶのは、この客は閉店間際にだけ来ています、この客は同じ棚に何度も戻っています、という行である。店で何が起きたのかは、一行も書いていない。

    外れたものを出すところまでは作れた。それを顧客に渡せるものには、できなかった。

    外れ値そのものは、いまも計算している。ただしどれを先に見るかを決めるところまでである。そこに答えを出させたのが、このときの間違いだった。

    三度目 ── 層に分けた

    二度失敗して、分かったことがある。「比べる」は、一つの仕組みでは作れない。

    そこで、工程を層に分けた。分け方は、店の話でたどってきた順そのものである。

    店の話を長く続けたのは、この四段を一つずつ、先に言葉にしておくためだった。前の二回は、どこで何を決めるのかを言葉にしないまま、まるごと任せていた。分ければ、層ごとに何を決めているのかを書き出せる。

    この形は、一度で決まっていない。実際のログで何度も回しては組み替えて、ここに落ち着いた。

    「比べる」が、毎月回るようになった

    いまは、一か月ぶんのログを取り込むと、全部の層を順に通る。

    1日平均148万アクセス、送信元は16万2千。そこから外れたものを絞り、対象を最大500件まで落とす。その一件ずつに、5,500回の問いかけをする。そのあと5人の専門役が約1,100回調べ、620回の査読を経て、1人が統合する。

    同じことを人手でやるなら、これを読める担当が何人かで、何日もかかる。事件が起きたときなら、そこまで読む。実際、そうしてきた。

    だが、同じ手間を、何も起きていない月にもかけ続けるのは高い。一回が重い調査は、何度もできない。

    一回にかかる手間を、機械が引き受けた。 だから、続けられるようになった。

    「知らなかった」が、なくなる

    開いてはいけない扉が開いたと書いた。実物では、利用者が使わない管理用のパスにリクエストが来て、ステータスコード200が返っていたということである。ステータスコード200は、サイトが応答したことを示す。記録に残っているのは、そこまでである。

    鍵を順に試していた客は、攻撃に使われることが分かっているパターンに一致するリクエストを、次々に送っていた送信元である。

    確証の出せないものは、止める仕組みの外に残る。どちらも、WAFに止められずに届いていた。

    続けていなければ、この行は誰の目にも触れない。塞がれず、遮断もされず、翌月も同じままである。

    塞ぐことも、断ることもできる。通っていると知っていれば、である。


    この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。

    開発した製品のリリース情報

    ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています:


     
     

    toshi

     
     
    教育DXエンジニア / 生成AI活用研究家 コンピュータ理工学修士/元大手ICTエンジニア。誰もが技術を使いこなし、その恩恵を受けられる社会を目指し、公立高の教育現場と二児の子育てに情熱を注ぐ。専業主夫見習い

    あなたへのおすすめ