
【AI開発のリアル #73】 AIを管理していたのではなく、仕事を管理していた
前回、AI開発で私がやっていたのはプロジェクト管理だったと書いた。
開発中、AIが思ったように動かないことは何度もあった。
もちろん、プロンプトを書き直したこともある。
ただ、それだけでは直らない問題も残った。
プロンプトだけでは足りず、手順書、入力データ、実行する仕組み、結果を検査する仕組みまで作った。
振り返ると、私はAIへの指示だけを直していたわけではなかった。
「どう頼むか」だけではなく、「どんな仕事として渡すか」まで変えていた。
役割を与えるだけでは、仕事にならなかった
開発するAIを増やして、それぞれに役割を持たせた。
でも、役割の名前を決めただけでは仕事は回らなかった。
そこで、
何を受け取ったら仕事を始めるのか
何を調べたり作ったりするのか
何を成果として残すのか
その成果を誰が次に見るのか
まで決めた。
一つの仕事が終わると、そこに残った成果物を使って、次の仕事が始まる。
AIに「うまく連携して」と頼むのではなく、前の仕事の結果が、次の仕事の材料になるようにした。
前のAIとの会話も、引き継がせなかった
担当が変わるたびに、それまでの会話を全部読ませることもしなかった。
前の担当が作ったものを、書き直さず、そのまま次の担当へ渡した。
以前、AIは入力のたびに「別人」になると書いた。
ならば、前のAIが何を考えていたかを覚えていることを前提にしなければいい。
その仕事に必要な材料を渡し、その仕事だけで終えられるようにした。
会話をうまく続けさせるのではなく、会話が続かなくても仕事が続くようにした。
「完了しました」も、仕事の終わりにはしなかった
確認するAIを置いても、それだけでは足りなかった。
「すべて完了」と報告されたものを確認すると、警告や失敗が残っていた。
そこで、「きちんと確認してください」と指示を強くするだけではなく、
何を確認したのか
結果はどうだったのか
根拠はどこにあるのか
まで残すようにした。
その後も、「できました」と言われて実際に開くと、ファイルがないことがあった。
最終結果は出ているのに、途中の処理が抜けていたこともあった。
だから、AIが何と報告したかではなく、実際に何が残っているかを見るようになった。
「完了しました」という言葉を正確にさせるより、完了したかどうかを確かめられる形にした。
管理するAIには、作業をさせなかった
もう一つ、何度も起きたことがある。
管理する役のAIが、自分で作業を始める。
すると、管理する側がいなくなる。
だから、管理するAIが手を動かし始めるたびに、管理へ戻した。
人間の私も、問題を見つけたら自分で直すのではなく、担当へ戻す。
管理する側には管理をさせ、作る側には作らせる。
ここでも、AIに「管理者らしく振る舞って」と頼むだけではなく、仕事を分けた。
AIではなく、仕事を管理していた
こうして並べると、私が変えていたものが分かる。
AIが覚えてくれないなら、覚えていなくてもできる仕事にする。
「完了」の報告が信用できないなら、結果を確認できるようにする。
管理役が自分で作業してしまうなら、管理する仕事と作る仕事を分ける。
プロンプトを直すこともあった。
でも、AIがうまく動く言い方を探し続けていたわけではない。
うまく動かないなら、AIに渡している仕事の方も変えていた。
前回、私がやっていたのはプロジェクト管理だったと書いた。
もう少し具体的に言うなら、
AIを管理していたというより、AIがやっている仕事を管理していた。
この開発では、その方がうまく回った。
この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。
開発した製品のリリース情報
ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています: