
【AI開発のリアル #27】 AIは、用意した解析結果を一つも使わなかった
前回は、顧客の「うちは大丈夫か」を、そのままAIへ渡した話を書いた。
同じ最初のレポートに、もう一つの失敗がある。
独自に、解析させた
顧客がすでに自分で見られる数字を並べても、役には立たない。それは分かっていた。だから、自分たちで独自に解析をした。
一つめは、知識。 攻撃に使われるツールには、通信の仕方に癖が出る。どのツールがどんな癖を残すのかを、パターンとして用意した。
二つめは、外の情報との突き合わせ。 世界中で悪用が報告されているアクセス元の一覧が、公開されている。それを取ってきて、手元のログと照合した。素性を隠す経路を通ってきたもの、クラウド事業者から出ているものも見分けた。
三つめは、機械学習。 「これが攻撃だ」という正解を先に教えるやり方ではない。大量のアクセスをそのまま読ませて、何が普通なのかを機械に決めさせ、そこから外れたものを挙げさせる。 知らない攻撃でも、普通でなければ引っかかる。
どれも、作っただけではない。実際に動かして、結果が出ていた。 自分たちで調べなければ出てこないものが、手元にそろっていた。
レポートを、書かせた
そのうえで、AIにレポートを書かせた。
出てきたものは、専門家が書いたように読めた。章が並び、数字が入り、どの章にも所見の文章がついている。読み流すかぎり、欠けたところはない。
しかも今度は、独自の解析まで済ませてある。体裁だけでなく、中身の裏付けもあるはずだった。
手応えがあった。
三つとも、使われていなかった
読み返した。用意した三つの結果が、どの章のどこで使われているのかを探した。
どこにも無かった。
知識と突き合わせで出た結果を、レポートを書く側は一度も読みに行っていなかった。 入っていたのは、公開されている一覧に何件当たったか、という数だけ。それも本文ではなく、巻末に付録として置かれていた。
機械学習も同じだった。異常とされたアクセス元の数が並んでいるだけで、そのうちどれが何をしていたのかは、一件も書かれていない。
本文を占めていたのは、顧客がすでに自分で見られる数字だった。それを、体裁を整えて出し直していた。
解析結果を使え、と言わなかった
解析をさせたのも、レポートを書かせたのも、私である。手を動かしたのは、どちらもAIだった。同じ相手に、続けて頼んでいる。
解析しろ、と指示した。レポートを書け、とも指示した。
そのレポートは、解析結果を使って書け。 これを、指示していなかった。
言うまでもないと思っていた。わざわざ解析させた結果である。使わないという発想が、こちらに無かった。
だがAIにとっては、渡されたものが世界のすべてである。手元に解析結果があることも、それが何のためにあるのかも、こちらの頭の中にしかない。書けと言われれば、書ける材料で書く。
「当然そうする」は、AIには無い。
言えば、使ってくれると思った
このレポートは、構成ごと捨てた。それは第21回に書いた。
同じとき、頼み方も変えた。ただし当時の私の結論は、単純だった。言い忘れただけだ。次から言えばいい。
だから、次はこう頼んだ。このファイルとこのファイルを読め。そこにある結果を使って、レポートを書け。
読むべきものを名指しすれば済む、と思っていた。
そのお願いは、忘れられ続けた
だが、同じことは形を変えて何度も起きた。
頼んだことは手順書に残る。だが手順書は、動いているものを書き換えない。 書いたほうを直しても、動くほうはそのままだった。
ずっと後になっても起きた。用意した解析データが、また使われていなかった。
頼んでいるかぎり、忘れられる。
最後には、頼むのをやめた。何を受け取ったら、その仕事を始められるのか。 それを仕事ごとに決めた。前の担当が残した結果が、次の担当が始めるための条件になる。渡されていなければ、始まらない。
「当然そうするだろう」を、指示から仕組みに移した。 言い忘れても、成り立たなくなるようにした。
この決め方については、第12回「役職ではなく、成果物が仕事を動かす」に書いている。
この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。
開発した製品のリリース情報
ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています: