メインコンテンツへスキップ
見出し画像

【AI開発のリアル #28】 開いていたのは、客が入る扉ではなかった

    顧客に出すレポートで、いちばん多い結論は何か。

    「大きな事故は、見つかりませんでした」である。

    何も出ないと、仕事をしていないように見える

    これは、売る側にとって都合が悪い。

    派手な発見があれば、価値は分かりやすい。こんな攻撃を受けていました、と示せば、調べた甲斐があったことになる。

    だが毎月見ていれば、たいていの月は大きな事故など起きない。何も起きなかった月に、何を出すのか。

    「無かった」には、二種類ある

    ここが分かれ目だった。

    一つめ。一部を見て、無さそうだった。
    二つめ。全部を見て、無かった。

    読む側には、どちらも同じ「問題なし」に見える。だがまったく違うものである。

    前者は、見ていない場所に何かあっても分からない。後者は、少なくとも見た範囲については言い切れる。

    AIの「すべて完了」を、私は完了にしなかったと書いた。顧客に出す側でも同じだった。何を確かめた上での「無し」なのかが書かれていなければ、受け取る側は判断できない。

    止められずに、通ったものがある

    そして、全部を調べてみて分かったことがある。

    危ないアクセスの多くは、届く前に止められる。止めた数は数えられていて、顧客もいつでも見られる。

    だが、止まらずに通ってしまったものが、いくらか出てくる。

    これは、店に置き換えると分かりやすい。

    店には、毎日たくさんの人が来る。 それが普通である。誰が入ってきたかを、いちいち気にすることはない。

    だが、その中の誰かが、客が入る場所ではない扉を押した。 そして、その扉は開いた。

    そして、何かが起きた形跡は、無かった。 その奥には、持って行かれて困るものが置いていなかったのだろう。

    被害が出たという話は、出てこない。届け出ることもない。

    だが、扉は開いたままである。

    開いているなら、閉じるかどうかは決めないといけない

    記録に残っているのは、扉が開いたことと、誰かがそこを通ったことまでである。その先は、こちらからは見えない。

    そして、開いている場所は、次に何が来ても開いている。

    何も起きなかったことと、危なくなかったことは、別である。

    だから、こちらが「問題なし」と判断して流していい話ではない。開いていると伝えて、閉じるかどうかを決めるのは、店の側である。

    一行で終われるのは、一部しか見ていないとき

    全部を調べると、「問題ありませんでした」の一行で終われなくなる。

    大きな事故は起きていない。それは本当である。だが、開いたままの扉は、たいてい見つかる。

    以前は、その一行で終わっていた。書けたのではない。見ていなかっただけだった。

    出すものを変えた

    そこで、レポートの中身を変えた。

    何を見つけたかだけでなく、どこまで見たかを出す。全部でいくつあって、そのうちいくつを詳しく調べて、なぜそれを選んだのか。絞り込みの過程そのものを載せる。

    そのうえで、こう書けるようになった。

    「この範囲は全部調べました。被害につながる形跡は見つかりませんでした。ただし、止められずに中まで届いたものが、これだけありました。そこが開いたままでよいかを、決めてください。」

    被害の有無だけでなく、まだ開いている場所と、そこをどうするかの判断まで、相手の手元に渡す。

    これは顧客の「うちは大丈夫か」を分解した回で置いた問いへ、あらためて答えを返す形でもある。

    報告の中身は、見つけた数ではなく、見た範囲で決まるようになった。

    これから作る人へ

    AIで何かを調べさせるものを作ろうとしているなら、先に決めておいたほうがいいことがある。

    何も出なかったときに、何を出すのか。

    ここを決めていないと、「何か見つける」ことが目的になる。そして見つけようとすると、見つかりやすいものばかり見るようになる。


    この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。

    開発した製品のリリース情報

    ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています:


     
     

    toshi

     
     
    教育DXエンジニア / 生成AI活用研究家 コンピュータ理工学修士/元大手ICTエンジニア。誰もが技術を使いこなし、その恩恵を受けられる社会を目指し、公立高の教育現場と二児の子育てに情熱を注ぐ。専業主夫見習い

    あなたへのおすすめ