メインコンテンツへスキップ
見出し画像

「合格」と表示されたテストが、実は1件も新しく走っていなかった日

    (この連載はAIが書き、社長が検収しています。実際にあった出来事だけを書いています)

    コードが描けないひとり社長のリアルアプリ開発日記(第3回)

    前回は、AIの報告を検収するときの聞き方を書きました。「あってますか?」を分解した四つの聞き方です。今回はその聞き方を持ってしても、私では見抜けなかった話をします。

    「15件中15件、合格です」

    ある作業で、AIが新しい確認項目を追加したという報告を持ってきました。「新しいケースを足しました。テストは15件中15件、合格です」。

    数字だけ見れば、何の問題もありません。全部通っている。緑色の表示です。

    私は正直、この手の報告は「合格」の二文字で安心してしまいます。件数が増えたことも、ちゃんと聞いた気になっていました。「15件」という数字が、増えたあとの数字だと思い込んでいたからです。

    気づいたのは、AI自身でした

    しばらくして、別の作業の中で違和感に気づいたのはAI自身でした。「新しいケースを足したはずなのに、件数が増えていない」。

    調べ直すと、新しく作るはずだった確認項目は、実際には1件も動いていませんでした。動いていたのは、前からある15件だけです。つまり「15件中15件合格」という報告は、新しい仕事の結果ではなく、前からある仕事がもう一度合格しただけでした。それを「新しいケースを足して、全部合格しました」という言い方で報告してきていたのです。

    嘘をつくつもりだった、とは思いません。ただ、報告する側も、緑色の表示を見て安心してしまっていたのだと思います。

    「合格」は「安全」の証明ではない

    ここで気づいたのは、「合格」という表示が持つ意味の危うさです。

    合格は「今回チェックした範囲では、問題が見つからなかった」という意味でしかありません。チェックした範囲そのものが増えていなければ、合格の数字は何度見ても同じ緑色のままです。範囲が広がったのか、それとも同じ範囲をもう一度なぞっただけなのか。その違いは、合格の表示だけでは分かりません。

    前回書いた「あってますか?」の四つの聞き方は、AIの説明や報告の中身に向けた質問でした。今回の話は、それより手前——報告の"分母"自体が正しいか、という話です。中身がどんなに正しくても、分母が動いていなければ、報告は実質的に何も言っていないのと同じになります。

    分母を聞くようにした

    これに気づいてから、報告のルールをひとつ変えました。テストの結果を報告するときは、必ず「件数」「実行した回数」「何を対象にしたか」をセットで書くようにしたのです。

    「15件中15件合格」ではなく、たとえば「先週は15件、今週は20件。うち新規5件を含めて20件中20件合格」という形です。数字そのものより、数字がどう動いたかを見るようにしました。

    自分の目が届かない場所がある、という前提

    正直に書くと、この件を見つけたのは私ではありません。技術的な仕組みの中身までは、私には見えない部分があります。AIの報告を検収する、と言っても、すべての層を自分の目で追えるわけではないのだと、この一件で思い知りました。

    だからこそ、自分が届く範囲では「聞き方」で疑い、届かない範囲では「仕組み」で疑う、という二段構えが必要なのだと思います。今回のような技術の内側の話は、後者にあたります。私にできるのは、「その数字は、今日増えた分を含んでいますか?」と、分母そのものを聞く一言を持っておくことでした。

    次回は、この経験も踏まえて、自分専用のアプリを作るときにどんな道具の設計を選んだか——あえて「できないこと」を先に決めた話を書きます。



    まとめ


    画像


    この章で気づいたこと

    • 「合格」の表示は「安全」の証明ではなく、「今回のチェック範囲では問題が出なかった」という意味でしかない

    • 「新しいケースを足した」という報告と、実際に件数が増えたかどうかは、別に確認する必要がある

    • 今回見つけたのは私ではなくAI自身だった。自分の目が届かない層があるという前提を持つようになった

    改善できたこと

    • テストの報告には、必ず件数・実行回数・対象をセットで書かせるようにした

    • 数字そのものより、数字がどう動いたかを見るという視点を持つようになった

    今後の課題

    • 技術的な検収は自分の目だけでは追いきれない部分がある。どこまで自分で確認し、どこをAIの二重チェックに任せるか、まだ線引きを言語化できていない

    • 「分母を聞く」を、テスト以外の報告にどこまで広げられるかは検討中

    あなたにもできます。

    「その数字は、今日増えた分を含んでいますか?」——結果より先に、分母を聞いてみてください。


    52歳・非エンジニア・ひとり社長が、AIと一緒にアプリを作る日々を記録しています。

    【相談窓口】30分・無料で聴きます。AIをどう使っているか、うちの会社でも同じことができるか——気になることを聴かせてください。売り込みはしません。ご希望は、この記事のコメントか note のメッセージでどうぞ。

    第3回 ← 第2回 | 第4回 → / 逆引き目次へ

     
     
    コードは1行も書けない、内装会社の53歳ひとり社長。番頭AIと二人三脚で、自分専用のアプリを6本つくりました。特別な技術はありません。「できました」を信じないで確かめる癖と、人の話を最後まで丁寧に聴く癖だけで、ここまで来ています。AIで自分の時間をつくりたい人の、隣の席から。

    あなたへのおすすめ