
【AI開発のリアル #28】 開いていたのは、客が入る扉ではなかった
顧客に出すレポートで、いちばん多い結論は何か。
「大きな事故は、見つかりませんでした」である。
何も出ないと、仕事をしていないように見える
これは、売る側にとって都合が悪い。
派手な発見があれば、価値は分かりやすい。こんな攻撃を受けていました、と示せば、調べた甲斐があったことになる。
だが毎月見ていれば、たいていの月は大きな事故など起きない。何も起きなかった月に、何を出すのか。
「無かった」には、二種類ある
ここが分かれ目だった。
一つめ。一部を見て、無さそうだった。
二つめ。全部を見て、無かった。
読む側には、どちらも同じ「問題なし」に見える。だがまったく違うものである。
前者は、見ていない場所に何かあっても分からない。後者は、少なくとも見た範囲については言い切れる。
AIの「すべて完了」を、私は完了にしなかったと書いた。顧客に出す側でも同じだった。何を確かめた上での「無し」なのかが書かれていなければ、受け取る側は判断できない。
止められずに、通ったものがある
そして、全部を調べてみて分かったことがある。
危ないアクセスの多くは、届く前に止められる。止めた数は数えられていて、顧客もいつでも見られる。
だが、止まらずに通ってしまったものが、いくらか出てくる。
これは、店に置き換えると分かりやすい。
店には、毎日たくさんの人が来る。 それが普通である。誰が入ってきたかを、いちいち気にすることはない。
だが、その中の誰かが、客が入る場所ではない扉を押した。 そして、その扉は開いた。
そして、何かが起きた形跡は、無かった。 その奥には、持って行かれて困るものが置いていなかったのだろう。
被害が出たという話は、出てこない。届け出ることもない。
だが、扉は開いたままである。
開いているなら、閉じるかどうかは決めないといけない
記録に残っているのは、扉が開いたことと、誰かがそこを通ったことまでである。その先は、こちらからは見えない。
そして、開いている場所は、次に何が来ても開いている。
何も起きなかったことと、危なくなかったことは、別である。
だから、こちらが「問題なし」と判断して流していい話ではない。開いていると伝えて、閉じるかどうかを決めるのは、店の側である。
一行で終われるのは、一部しか見ていないとき
全部を調べると、「問題ありませんでした」の一行で終われなくなる。
大きな事故は起きていない。それは本当である。だが、開いたままの扉は、たいてい見つかる。
以前は、その一行で終わっていた。書けたのではない。見ていなかっただけだった。
出すものを変えた
そこで、レポートの中身を変えた。
何を見つけたかだけでなく、どこまで見たかを出す。全部でいくつあって、そのうちいくつを詳しく調べて、なぜそれを選んだのか。絞り込みの過程そのものを載せる。
そのうえで、こう書けるようになった。
「この範囲は全部調べました。被害につながる形跡は見つかりませんでした。ただし、止められずに中まで届いたものが、これだけありました。そこが開いたままでよいかを、決めてください。」
被害の有無だけでなく、まだ開いている場所と、そこをどうするかの判断まで、相手の手元に渡す。
これは顧客の「うちは大丈夫か」を分解した回で置いた問いへ、あらためて答えを返す形でもある。
報告の中身は、見つけた数ではなく、見た範囲で決まるようになった。
これから作る人へ
AIで何かを調べさせるものを作ろうとしているなら、先に決めておいたほうがいいことがある。
何も出なかったときに、何を出すのか。
ここを決めていないと、「何か見つける」ことが目的になる。そして見つけようとすると、見つかりやすいものばかり見るようになる。
この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。
開発した製品のリリース情報
ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています: