
【AI開発のリアル #22】 AIが作った後で、開発が止まった
前回、増え続ける出力の確認をクラウドAIへ移そうとした話を書くと予告した。
その前に、なぜ品質確認をAI開発チームの仕事にする必要が生まれたのかを書いておきたい。
AIが出力を作る工程は、すでに並行して進んでいた。しかし、それを製品に残せるか確かめ、完成かやり直しかを決める工程は、AI開発チームの独立した仕事になっていなかった。
提出物は増えても、完成した仕事は増えなかった
AI開発チームは、一つの出力を待ってから次へ進むわけではない。
複数の担当が並行して作業し、夜も処理を続ける。寝る前に仕事を渡せば、翌朝から昼には、確認すべき提出物が次々とそろっていた。
しかし、人間の確認は、出力された文章を読むだけでは終わらない。
一つの仕事には、手順書、専用の入力データ、AIの出力、検査結果がある。
必要なデータが入力にあるか。入力にない数字を書いていないか。判断できないことを断定していないか。所見の根拠を元のデータまでたどれるか。
手順書、入力、出力、検査結果を一件ずつ読み比べて、初めて品質を判断できる。
一つを確かめている間に、AI開発チームは次の出力を作る。こうして、未確認の提出物が積み上がっていった。
読む場所を集めても、判断は減らなかった
そこでまず、確認すべき結果や注意点を集め、人間が読むべきものを一つの画面で見られるようにした。
問題がありそうな場所を探す手間は減った。実際に、その画面から不具合も見つけられた。
しかし、品質を判断すべき対象そのものは、ほとんど減らなかった。
一覧に集めることはできても、それを製品へ残してよいかは、別の判断だからである。
提出物に問題がなければ、その機能は完成として次へ進められる。問題があれば、どこを直すのか決める必要がある。
入力データが足りないのか。データを集めるスクリプトが間違っているのか。手順書を直すのか。仕事そのものをさらに分けるのか。
読む場所を集めても、この判断まで自動的に減るわけではなかった。
品質判断が、次の工程を止めた
品質を判断するまで、完成にもできない。次の修正も指示できない。
一つの仕事で人間の確認が止まれば、その先にある修正、再実行、再検査も止まる。それが多くの仕事で重なった。
AIが出力を作る速さではなく、品質を確かめる工程の速さが、開発全体の速さを決めるようになった。
品質確認を、独立した仕事にした
以前は、誰へ何を頼むかが人間に集中し、人間がAI同士の中継役になっていた。
そのときは、管理を担うリーダーAIを立て、誰が何をするかを管理させた。
今回、詰まったのは、誰へ頼むかではない。AIが作ったものを確かめ、完了かやり直しかを決める工程だった。
この詰まりに対し、実装する担当とは別に、品質確認を受け持つ役割もAI開発チームの中に置いた。
目的は、確認する項目を減らすことではない。品質判断の待ち時間を減らしながら、確認すべきことは減らさないことだった。
次回は、品質確認の役割へ一連の確認を仕事として渡したが、「問題なし」だけでは何を確認したのか分からなかった話を書く。
この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。
開発した製品のリリース情報
ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています: