メインコンテンツへスキップ
見出し画像

【AI開発のリアル #70】 AIが「できました」と言う。開くと、ファイルがない

    前回、AIに大量の試行錯誤をさせていたと書いた。

    では、その間に私は何をしていたのか。

    AIの「できました」を、そのまま信じず、現物を確認していた。

    これが一番近い。

    「できました」と言う。でも、ない

    開発中、AIから「できました」と報告が来る。

    ところが実際にファイルを開いて確認すると、

    • あると言っていたファイルがない

    • 23件すべて合格と言っているのに、実際に数えると違う

    • 出力はあるが、必要なデータが入っていない

    • 一見それらしいが、元の入力を見ると判断がおかしい

    ということがあった。

    だから私は、AIの報告ではなく、実際に作られたものを見るようになった。

    最初は、自分でファイルを開いていた

    確認していたのは、途中のスクリプトの書き方ではない。

    基本的には、

    • 何を入力したのか

    • 何が出力されたのか

    • その出力で本当に良いのか

    を見る。

    出力がおかしければ、入力を見る。

    入力も十分なのに出力がおかしければ、

    • ローカルLLMに何を渡したのか

    • どんな指示をしたのか

    • LLMから何が返ってきたのか

    まで遡る。

    途中の処理を全部読むのではなく、問題があった場所から必要なところまで掘る。

    そんな確認をしていた。

    でも、AIが仕事をしすぎる

    問題は量だった。

    AI側では、runnerが手分けして次々と処理を進めていた。

    最終的には87のサブタスクがあり、それぞれで大量の結果が積み上がっていく。

    私はそれを確認しなければならない。

    しかし、

    • ファイルを探す

    • inputを開く

    • outputを開く

    • 別のケースを見る

    • また別のサブタスクを見る

    を繰り返していたら、今度は私が追いつかない。

    そこで、監査するためのAIに、監査するための画面を作らせた。

    全部を一か所に集めさせた

    監査リードには、

    • 本当にファイルがあるか

    • 何を入力したか

    • 何が出力されたか

    • どのサブタスクの結果か

    • どのケースの結果か

    • 必要ならLLMの処理まで遡れるか

    を確認できるようにまとめさせた。

    そして、それをダッシュボードにした。

    画像
    監査用の画面。87のサブタスクに、8つの確認欄が並ぶ。
    画像
    1行が1サブタスク。runbook・実走入力・実走出力・監査・OK判定根拠が、そこから開ける。

    私はそこを見ればよい。

    87のサブタスクを順番に開き、

    • この出力はおかしくないか

    • この「不明」は本当にデータがないのか

    • 入力を取り漏らしていないか

    • 判断が短絡的ではないか

    を確認する。

    気になるものがあれば、リードに返す。

    私が直すのではなく、AIに調べさせる

    たとえば、

    「この結果、おかしくないですか?」

    と返す。

    するとAI側で、

    • 入力が足りないのか

    • collectorがおかしいのか

    • LLMへの指示がおかしいのか

    • LLMの返答がおかしいのか

    • そもそも仕事の定義に問題があるのか

    を調べる。

    必要ならrunnerが修正して、もう一度実行する。

    私は、また結果を見る。

    その繰り返しだった。

    画像
    2026-06-22 の一日。上の5レーンがAI側、最下段が私の介入。

    この頃には、

    が動いていた。

    私はその上で、PMとして結果を確認し、問題を見つけて返していた。

    AIを信用したから、任せられたわけではない

    むしろ逆だった。

    AIの報告だけでは信用できなかった。

    だから、

    報告ではなく、現物を全部確認できるようにした。

    最初は私が直接ファイルを開いていた。

    量が増えて追いつかなくなると、監査リードに現物を集めさせ、ダッシュボードに並べさせた。

    AIはその裏で、何度でも試してよい。

    私は、出来上がったものを見る。

    おかしければ差し戻す。

    AIに大量の仕事を任せるために必要だったのは、信じることではなく、全部を確認できる状態を作ることだった。


    この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。

    開発した製品のリリース情報

    ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています:


     
     

    toshi

     
     
    教育DXエンジニア / 生成AI活用研究家 コンピュータ理工学修士/元大手ICTエンジニア。誰もが技術を使いこなし、その恩恵を受けられる社会を目指し、公立高の教育現場と二児の子育てに情熱を注ぐ。専業主夫見習い

    あなたへのおすすめ