
【AI開発のリアル #66】 人間がボトルネックになったので、AIには無駄な仕事をさせた
前回、78日間で私がAIに送った指示は7,796回だったと書いた。
AIにコードを書かせ、テストさせ、直させる。
人間に残ったのは、結果を見て、次に何をするか決める仕事だった。
では、その人間がボトルネックになったらどうするのか。
私の場合、答えは少し変わった形になった。
AIを止めないために、私がすぐ返事をするようにしたのではない。
私が返事をする前に、いくつもの可能性を先に試させるようにした。
過去の記事では、一本道にして書いた
この連載では、78日間に起きたことをかなり整理して書いてきた。
一人のAIに全部任せた。
うまくいかなかった。
役割を分けた。
リーダーを置いた。
仕事をさらに細かく分けた。
確認できる形にした。
後から振り返れば、この流れは間違っていない。
でも、実際の開発はこんなにきれいではなかった。
ログを掘り返すと、最初から何度も行ったり来たりしている。
「まず作ってください」
「本当にこれでいいですか?」
「別の方法も試してください」
「やっぱり違います」
「前の方法に戻せませんか?」
「他のケースでも試してください」
一つずつ順番に正解へ近づいていたわけではない。
複数の道を同時に走らせて、結果を並べて、残すものを決める。
採らなかったものは、そのまま捨てる。
それを何度も繰り返していた。
私が直接見ていたのは、リードだった
開発後半になると、私は複数のリードAIと並行して会話していた。
それぞれのリードには担当がある。
リードはさらに配下のAIへ仕事を振る。
必要なら、リード同士でも情報をやり取りする。
私が直接会話していたのは最大7本だったが、実際に動いていたAIはそれより多い。
指示の回数は78日ぶんが残っているが、AI側の記録は50日ぶんしか残っていない。その50日を数えたら、AIがさらに別のAIを立ち上げた回数は2,499回だった。
1回の指示で最も多く立ち上げたときは32体。多い日には1日で266体。50日のうち46日で起きていた。
あるリードは実行を担当する。
別のリードは監査する。
別のリードは高速化を考える。
さらにその下で、個別の分析や実装が並行して進む。
一つのAIとの長い会話ではなく、複数の担当が同時に枝を伸ばす形になっていった。
寝ている間にも、枝を伸ばしておく
6月には、私が寝ている間もAIの処理を止めないようにしていた。
リードに定期的な監視を任せる。
問題があれば別の担当へ指示する。
一つのrunを待っている間に、別の改善案を調べる。
別のケースを別サーバで試す。
私がいない間にも、判断材料を増やしておく。
このときAIが「次の起動を自分で予約する」操作を使った回数は835回だった。
朝になったら、私は並んだ結果を見る。
どれを残すか。
どれを捨てるか。
もう一度試すなら、どこを変えるか。
そこで初めて人間が判断する。

今振り返ると、これはかなり投機実行に近い。
まだどの道へ進むか決めていないのに、複数の未来を先に少しずつ走らせておく。
当然、無駄は多い。
採用されないコードもできる。
使われない分析もできる。
そのまま捨てる結果も大量に出る。
でも、それでよかった。
ボトルネックは私だった
理由は単純だった。
私がボトルネックだったからだ。
AIは並列に動ける。
サーバも複数使える。
同じ時間に何個も試せる。
でも私は一人しかいない。
一つ試す。
結果を見る。
考える。
次を指示する。
また待つ。
これを一本ずつやると、AIではなく私のところで処理が止まる。
だから、私の判断が一番効率よく使われるようにした。
一つの結果を見て次を考えるのではなく、複数の結果をまとめて見て決める。
AIを効率化したというより、人間の判断の使い方を変えた。
だから、一つの仕事は徹底的に安くした
ここだけを見ると、以前の記事と矛盾して見えるかもしれない。
私はずっと、トークンを減らしたり、仕事を細かく分けたり、スクリプトで済むものはAIに読ませないようにしたりしてきた。
無駄を減らそうとしていたはずなのに、今回は大量の枝を伸ばし、採用しない仕事までAIにやらせている。
でも、自分の中では矛盾していなかった。
一つの試行が高コストだと、たくさん試せないからだ。
一つの仕事を小さくする。
必要な情報だけ渡す。
計算で済むものはスクリプトにする。
軽いモデルで足りる仕事は軽いモデルに任せる。
一回の試行を安く、速くする。
そのうえで、試行回数を増やす。
効率化したかったのは、AIにやらせる仕事の総量ではない。
もっとたくさん失敗できるように、一回の失敗を安くしたかった。
残った道だけを見ると、きれいに見える
過去の記事では、完成したものから逆にたどって説明してきた。
なぜ役割を分けたのか。
なぜリードを置いたのか。
なぜ仕事を細かくしたのか。
残ったものだけを見れば、一本の道として説明できる。
でも、その道は最初からあったわけではない。
大量に枝を伸ばした。
その多くを切った。
残った枝から、また枝を伸ばした。
どれくらい切ったのかを数えてみた。
この78日の間に作られて、そのまま消されたファイルは1,874個あった。
文書が819、画面が701、データが212、プログラムが88。
私が「やり直してください」と打ったのは186回、「作り直してください」は115回、「捨ててください」は23回。4月は合わせて21回だったが、6月は166回になっていた。
最後まで残ったものを、後から私は「こうやって作った」と説明している。
前回、私はこう書いた。
チャチャっと作って、
チャチャっと試して、
チャチャっと捨てて、
またチャチャっと作る。
7,796回の会話を掘り返してみると、その中身は思っていた以上に文字通りだった。
一本道を速く走ったのではない。
たくさんの道を同時に走らせて、ほとんどを捨てた。
私がボトルネックだったから、私の判断が一番効率よく使われる形にした。
その結果、AIにはむしろ、かなりの無駄な仕事をさせることになった。
この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。
開発した製品のリリース情報
ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています: