メインコンテンツへスキップ
見出し画像

【AI開発のリアル #7】 AIの答えは、別のAIに疑わせる

    前回、AIに数字を書かせない話をした。数字は、計算が守る。

    では、AIが書くもう一方——「これは危ない」「これは問題ない」という判断のほうは、どうやって信用するのか。

    一つのAIは、自分の間違いに気づけない

    答えを先に言う。一つのAIの判断は、そのままでは信用しない。

    理由は単純だ。人間でも、自分の書いたものを自分で見直すと、粗を見逃す。AIも同じで、自分が出した判断の間違いには、自分では気づけない。しかも、一つのAIに「調べて、そのうえで自分で検証しろ」と頼むと、今度は自信のある発見だけを言うようになる。間違いを恐れて、口が重くなる。

    発見と検証は、同じ一人にやらせてはいけない。

    疑う係を、別に立てる

    だから、役割を分けた。

    調べるAIが「これは攻撃だ」と言う。その結論に、別のAIが、わざと反論する。「本当にそう言えるのか。見落としはないか」。噛みつくのが、その係の仕事だ。判断はしない。ひたすら疑う。

    もう一つ別のAIが、報告に出てくる数字を、元のデータと突き合わせる。合っているかを確かめるだけ。これも、判断はしない。照合だけする。

    そして、判断が割れたとき——攻撃とも言えるし、そうでないとも言える、というとき——は、同じ問いを何度も投げて、多数決で決める。一回の思いつきで決めない。

    では、疑いをくぐり抜けた判断は、「確定」になるのか。

    ならない。確定と言い切っていいのは、ログに残った事実——前回書いた、プログラムが数えた数字だけだ。AIの解釈は、検証を通っても、「疑い」「可能性」「推定」の言葉で書く。そして、このログだけでは分からないことには、「要追加調査」と線を引く。

    内側では、徹底的に疑わせる。外側には、言い切らせない。

    信用しないことを、作りに埋め込む

    AIを使う仕事のコツは、「賢いAIを一つ用意する」ことではない。「間違える前提で、AI同士を疑わせる仕組みを組む」ことだ。

    信用しないことを、気持ちではなく、作りに埋め込む。

    前回の「数字を書かせない」も、この回の「別のAIに疑わせる」も、同じ考えの裏表だ。人間もAIも間違える。だから、間違えても壊れない作りにする。

    「大丈夫です」と言い切る報告より、ここまでは事実、ここからは疑い、その先は要追加調査、と線を引く報告のほうが、信じられる。

    これで、前々回の三つに答えたことになる。見えなかったものは、数字と、攻撃の実物で見える。全部見たことは、全件の表と、全数を評価した証跡で示す。そして、わからないことは、わからないと言う。


    こうやって、たくさんのAIに、調べさせ、疑わせ、確かめさせる。ここまでが、ミツケルという箱の中身だ。

    「うちは大丈夫か」という問いに、どう答えるか。この箱は、そのために作った。

    製品の話は、ここまでだ。

    次回からは、話が変わる。この箱を、どうやって作ったのか。いよいよ、AI開発そのものの話に入る。


    この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。

    開発した製品のリリース情報

    ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています:

     
     

    toshi

     
     
    教育DXエンジニア / 生成AI活用研究家 コンピュータ理工学修士/元大手ICTエンジニア。誰もが技術を使いこなし、その恩恵を受けられる社会を目指し、公立高の教育現場と二児の子育てに情熱を注ぐ。専業主夫見習い

    あなたへのおすすめ