
【AI開発のリアル #69】 「AIに任せる」の中で、実際に何をさせていたのか
前回、AIが自分で次の仕事を取るようにしたと書いた。
実際にAIが回していた処理は、こういうものだった。
51個の仕事を、全部スクリプトで動かした
仕事は51個のサブタスクに分けていた。
それぞれの完成形は、人が途中で操作しなくても、スクリプトだけで動く。
ローカルLLMへの問い合わせも、そのスクリプトの中で実行する。
AIには、そのスクリプトを完成させるための試行を繰り返させた。
まず2〜3件で試す
2〜3件を選ぶ
入力データを作る
スクリプトを実行する
結果を検査する
通らなければ、入力を作るスクリプトを修正する
もう一度実行する
通る形が見えるまで、このループを繰り返す。
通ったら、23件すべてで確認する
2〜3件で通る形ができたら、今度は全件で確認する。
23件すべてで実行する
23件すべてを検査する
全件チェックで通らなければ、入力側を修正してもう一度実行する。
この全件チェックは最大3サイクル。
3サイクル通らなければ上申して、その仕事はいったん止め、次へ進む。
AIが直すのは、入力側だけ
AIが変更してよいのは、ローカルLLMに渡す入力データを作るスクリプトだけにした。
それ以外は固定した。
ローカルLLMへ渡すプロンプト
出力形式
合格条件
検査スクリプト
作業手順
不合格なら、入力側を直す。
必要なデータが足りない
集める場所が違う
単位やスケールが合っていない
事前計算した値が必要
そうした問題を入力側で修正して、同じ条件でもう一度試す。
これを51個の仕事で繰り返した。
全件チェックだけを最大まで行うと、
51個 × 23件 × 3サイクル = 最大3,519件分
になる。
しかも、その前には2〜3件を使った試行を何度も繰り返している。
前回書いたように、AIは一つ終わると次の仕事を取り、このサイクルをまた始める。
少数で試す。入力を直す。全件で確認する。駄目ならもう一度試す。
検査できるところまで分けた51個の仕事について、これを順番に回していた。
この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。
開発した製品のリリース情報
ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています: