メインコンテンツへスキップ
見出し画像

【AI開発のリアル #6】 AIには、数字を書かせない

    前回、納得には「全部見た」「わからないことは言わない」が要ると書いた。では、それをどう仕組みにしたのか。

    まず、いちばん効いた一つの話をする。

    それは事実なのか?

    AIにレポートを書かせると、ふつうは文章も数字もAIが書く。ここに落とし穴がある。

    以前、AIが書いた古いレポートに、深い洞察がいくつも並んでいた。読むと、鋭い。よく分析できている、と思った。

    ためしに、その洞察を10個選んで、一つずつ元のデータと突き合わせてみた。

    結果は、こうだった。本物は、1個。誇張が、4個。残りの5個は、データに存在しない数字だった。

    つまり、AIが作った嘘だ。

    仕組みでミスを防ぐ

    派手な数字ほど、地のデータに根拠がなかった。AIは、それらしく見える数字を、それらしく書いてしまう。しかも、なまじ文章がうまいから、読む側は気づけない。

    だから、ミツケルの作りを変えた。AIには、数字を書かせない。

    数字は、全部プログラムが計算して出す。何件通り抜けたか、何%がボットか。そういう数は、AIではなく計算が担当する。

    AIがやるのは、その数字が「何を意味するか」を言葉にすることだけだ。数を出す係と、意味を書く係を、はっきり分ける。
    こうすると、それらしい嘘が混ざる余地が、構造的になくなる。

    AIは、書きたくても数字を書けないからだ。レポートの一つ一つの数字には、「これはどのデータのどこから来たか」という出所が、機械的にひもづいている。

    気をつける、では防げない。作りで、防ぐ。

    人間も同じだ。ミスは、注意ではなく仕組みで防ぐ。

    これで、前回の一つ目に答えが出る。見えなかったものが、見える。何件が通り抜けたか、という数字。そして、実際に来た攻撃の、ログに残った文字列そのもの。数字は計算が出す。攻撃の実物は、作文せずに、そのまま載せる。

    画像
    何件が通り抜けたか——数字は、プログラムが数えた実測
    画像
    どの手口が、何件来たか。判定の根拠も、署名の文字列で示す。
    画像
    攻撃の実物。ログに残った文字列を、そのまま載せる。

    計算で片がつくものは計算に、判断が要るものだけAIに。この分け方が、AIに任せた仕事を信用できるものにする、一番の土台になった。


    これで数字は守れた。

    これまでのプログラムは、数えることはできても、読んで判断することはできなかった。AIが現れて、その判断まで、プログラムの中に置けるようになった。

    では、AIが書く「意味」のほう——解釈や判断——は、信用していいのか。

    次回は、そこを疑う。


    この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。

    開発した製品のリリース情報

    ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています:

     
     

    toshi

     
     
    教育DXエンジニア / 生成AI活用研究家 コンピュータ理工学修士/元大手ICTエンジニア。誰もが技術を使いこなし、その恩恵を受けられる社会を目指し、公立高の教育現場と二児の子育てに情熱を注ぐ。専業主夫見習い

    あなたへのおすすめ