
【AI開発のリアル #70】 AIが「できました」と言う。開くと、ファイルがない
前回、AIに大量の試行錯誤をさせていたと書いた。
では、その間に私は何をしていたのか。
AIの「できました」を、そのまま信じず、現物を確認していた。
これが一番近い。
「できました」と言う。でも、ない
開発中、AIから「できました」と報告が来る。
ところが実際にファイルを開いて確認すると、
あると言っていたファイルがない
23件すべて合格と言っているのに、実際に数えると違う
出力はあるが、必要なデータが入っていない
一見それらしいが、元の入力を見ると判断がおかしい
ということがあった。
だから私は、AIの報告ではなく、実際に作られたものを見るようになった。
最初は、自分でファイルを開いていた
確認していたのは、途中のスクリプトの書き方ではない。
基本的には、
何を入力したのか
何が出力されたのか
その出力で本当に良いのか
を見る。
出力がおかしければ、入力を見る。
入力も十分なのに出力がおかしければ、
ローカルLLMに何を渡したのか
どんな指示をしたのか
LLMから何が返ってきたのか
まで遡る。
途中の処理を全部読むのではなく、問題があった場所から必要なところまで掘る。
そんな確認をしていた。
でも、AIが仕事をしすぎる
問題は量だった。
AI側では、runnerが手分けして次々と処理を進めていた。
最終的には87のサブタスクがあり、それぞれで大量の結果が積み上がっていく。
私はそれを確認しなければならない。
しかし、
ファイルを探す
inputを開く
outputを開く
別のケースを見る
また別のサブタスクを見る
を繰り返していたら、今度は私が追いつかない。
そこで、監査するためのAIに、監査するための画面を作らせた。
全部を一か所に集めさせた
監査リードには、
本当にファイルがあるか
何を入力したか
何が出力されたか
どのサブタスクの結果か
どのケースの結果か
必要ならLLMの処理まで遡れるか
を確認できるようにまとめさせた。
そして、それをダッシュボードにした。


私はそこを見ればよい。
87のサブタスクを順番に開き、
この出力はおかしくないか
この「不明」は本当にデータがないのか
入力を取り漏らしていないか
判断が短絡的ではないか
を確認する。
気になるものがあれば、リードに返す。
私が直すのではなく、AIに調べさせる
たとえば、
「この結果、おかしくないですか?」
と返す。
するとAI側で、
入力が足りないのか
collectorがおかしいのか
LLMへの指示がおかしいのか
LLMの返答がおかしいのか
そもそも仕事の定義に問題があるのか
を調べる。
必要ならrunnerが修正して、もう一度実行する。
私は、また結果を見る。
その繰り返しだった。

この頃には、
実作業をするrunner
runnerを管理するリード
が動いていた。
私はその上で、PMとして結果を確認し、問題を見つけて返していた。
AIを信用したから、任せられたわけではない
むしろ逆だった。
AIの報告だけでは信用できなかった。
だから、
報告ではなく、現物を全部確認できるようにした。
最初は私が直接ファイルを開いていた。
量が増えて追いつかなくなると、監査リードに現物を集めさせ、ダッシュボードに並べさせた。
AIはその裏で、何度でも試してよい。
私は、出来上がったものを見る。
おかしければ差し戻す。
AIに大量の仕事を任せるために必要だったのは、信じることではなく、全部を確認できる状態を作ることだった。
この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。
開発した製品のリリース情報
ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています: