
【AI開発のリアル #6】 AIには、数字を書かせない
前回、納得には「全部見た」「わからないことは言わない」が要ると書いた。では、それをどう仕組みにしたのか。
まず、いちばん効いた一つの話をする。
それは事実なのか?
AIにレポートを書かせると、ふつうは文章も数字もAIが書く。ここに落とし穴がある。
以前、AIが書いた古いレポートに、深い洞察がいくつも並んでいた。読むと、鋭い。よく分析できている、と思った。
ためしに、その洞察を10個選んで、一つずつ元のデータと突き合わせてみた。
結果は、こうだった。本物は、1個。誇張が、4個。残りの5個は、データに存在しない数字だった。
つまり、AIが作った嘘だ。
仕組みでミスを防ぐ
派手な数字ほど、地のデータに根拠がなかった。AIは、それらしく見える数字を、それらしく書いてしまう。しかも、なまじ文章がうまいから、読む側は気づけない。
だから、ミツケルの作りを変えた。AIには、数字を書かせない。
数字は、全部プログラムが計算して出す。何件通り抜けたか、何%がボットか。そういう数は、AIではなく計算が担当する。
AIがやるのは、その数字が「何を意味するか」を言葉にすることだけだ。数を出す係と、意味を書く係を、はっきり分ける。
こうすると、それらしい嘘が混ざる余地が、構造的になくなる。
AIは、書きたくても数字を書けないからだ。レポートの一つ一つの数字には、「これはどのデータのどこから来たか」という出所が、機械的にひもづいている。
気をつける、では防げない。作りで、防ぐ。
人間も同じだ。ミスは、注意ではなく仕組みで防ぐ。
これで、前回の一つ目に答えが出る。見えなかったものが、見える。何件が通り抜けたか、という数字。そして、実際に来た攻撃の、ログに残った文字列そのもの。数字は計算が出す。攻撃の実物は、作文せずに、そのまま載せる。



計算で片がつくものは計算に、判断が要るものだけAIに。この分け方が、AIに任せた仕事を信用できるものにする、一番の土台になった。
これで数字は守れた。
これまでのプログラムは、数えることはできても、読んで判断することはできなかった。AIが現れて、その判断まで、プログラムの中に置けるようになった。
では、AIが書く「意味」のほう——解釈や判断——は、信用していいのか。
次回は、そこを疑う。
この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。
開発した製品のリリース情報
ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています: