
【AI開発のリアル #43】 「大丈夫」とは言えない。「知らなかった」は、なくせる
「ミツケル」の中身は一度では説明しきれないので、店の記録に置き換えて書いてきた。ここからは、実物の話に戻る。
前回、完全に行き止まりだった。何が危険かは、機械にも人にも決められなかった。
足りないのは、「比べる」だけだった
「大丈夫」に近づくには三つが要る。見る・覚える・比べる、である。
見る ── 記録を取る仕組みは、売っている
覚える ── 保存する仕組みも、売っている
比べる ── 続けているものが、一つもない
やればできる。だが、人手でやると割に合わない。だから誰もやっていなかった。
作るべきものは、はっきりしていた。「比べる」を機械にやらせる。 それだけである。
それを、二度作り損ねた。
一度目 ── 専門家に、そのまま読ませた
最初は、単純に考えていた。AIを専門家として動かし、ログを直接読ませればいい。
やってみると、数字と名前が並んだだけのものが返ってきた。
原因は、頼み方のほうにあった。店の話では、扉を一度押しただけの客に「事務所を狙っていた」と理由が付いた。見つけろと頼めば、無くても見つけてくる。
何を見るのかと、何と比べるのかは、先に人が決めなければならない。そこを飛ばして、読む側に投げていた。
二度目 ── 外れたものを、出すだけで止まった
線が引けないのなら、外れたものを出せばいい。
来客を重ねてふつうの形を作り、そこから離れた人を拾う。この形なら、何が危ないかを先に決めなくて済む。出来合いの手法が揃っていたので、そのまま入れた。
動きはした。外れたものが、ちゃんと出てくる。
問題は、出てきたものだった。
上に並んだのは、正規の検索エンジンのクローラだった。誰でも知っている、まっとうな相手である。ふつうの利用者とはまるで違う動きをするので、外れる。外れているが、まっとうである。
ふつうと違うことと、危ないことは、別だった。
そして、外れたものを並べ終えても、その先が無い。
「ふつうと違います」では、店長は手が打てない。並ぶのは、この客は閉店間際にだけ来ています、この客は同じ棚に何度も戻っています、という行である。店で何が起きたのかは、一行も書いていない。
外れたものを出すところまでは作れた。それを顧客に渡せるものには、できなかった。
外れ値そのものは、いまも計算している。ただしどれを先に見るかを決めるところまでである。そこに答えを出させたのが、このときの間違いだった。
三度目 ── 層に分けた
二度失敗して、分かったことがある。「比べる」は、一つの仕組みでは作れない。
そこで、工程を層に分けた。分け方は、店の話でたどってきた順そのものである。
集計する層 ── 来客を重ねて、ふつうの形を作る
外れを出す層 ── 似ていない客だけを取り出す
一件ずつ調べる層 ── その一人が何をしていたのかを出す
まとめる層 ── 手を打つ必要があるものを選ぶ
店の話を長く続けたのは、この四段を一つずつ、先に言葉にしておくためだった。前の二回は、どこで何を決めるのかを言葉にしないまま、まるごと任せていた。分ければ、層ごとに何を決めているのかを書き出せる。
この形は、一度で決まっていない。実際のログで何度も回しては組み替えて、ここに落ち着いた。
「比べる」が、毎月回るようになった
1日平均148万アクセス、送信元は16万2千。そこから外れたものを絞り、対象を最大500件まで落とす。その一件ずつに、5,500回の問いかけをする。そのあと5人の専門役が約1,100回調べ、620回の査読を経て、1人が統合する。
同じことを人手でやるなら、これを読める担当が何人かで、何日もかかる。事件が起きたときなら、そこまで読む。実際、そうしてきた。
だが、同じ手間を、何も起きていない月にもかけ続けるのは高い。一回が重い調査は、何度もできない。
一回にかかる手間を、機械が引き受けた。 だから、続けられるようになった。
「知らなかった」が、なくなる
開いてはいけない扉が開いたと書いた。実物では、利用者が使わない管理用のパスにリクエストが来て、ステータスコード200が返っていたということである。ステータスコード200は、サイトが応答したことを示す。記録に残っているのは、そこまでである。
鍵を順に試していた客は、攻撃に使われることが分かっているパターンに一致するリクエストを、次々に送っていた送信元である。
確証の出せないものは、止める仕組みの外に残る。どちらも、WAFに止められずに届いていた。
続けていなければ、この行は誰の目にも触れない。塞がれず、遮断もされず、翌月も同じままである。
塞ぐことも、断ることもできる。通っていると知っていれば、である。
この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。
開発した製品のリリース情報
ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています: