メインコンテンツへスキップ
見出し画像

【AI開発のリアル #22】 AIが作った後で、開発が止まった

    前回、増え続ける出力の確認をクラウドAIへ移そうとした話を書くと予告した。

    その前に、なぜ品質確認をAI開発チームの仕事にする必要が生まれたのかを書いておきたい。

    AIが出力を作る工程は、すでに並行して進んでいた。しかし、それを製品に残せるか確かめ、完成かやり直しかを決める工程は、AI開発チームの独立した仕事になっていなかった。

    提出物は増えても、完成した仕事は増えなかった

    AI開発チームは、一つの出力を待ってから次へ進むわけではない。

    複数の担当が並行して作業し、夜も処理を続ける。寝る前に仕事を渡せば、翌朝から昼には、確認すべき提出物が次々とそろっていた。

    しかし、人間の確認は、出力された文章を読むだけでは終わらない。

    一つの仕事には、手順書、専用の入力データ、AIの出力、検査結果がある。

    必要なデータが入力にあるか。入力にない数字を書いていないか。判断できないことを断定していないか。所見の根拠を元のデータまでたどれるか。

    手順書、入力、出力、検査結果を一件ずつ読み比べて、初めて品質を判断できる。

    一つを確かめている間に、AI開発チームは次の出力を作る。こうして、未確認の提出物が積み上がっていった。

    読む場所を集めても、判断は減らなかった

    そこでまず、確認すべき結果や注意点を集め、人間が読むべきものを一つの画面で見られるようにした。

    問題がありそうな場所を探す手間は減った。実際に、その画面から不具合も見つけられた。

    しかし、品質を判断すべき対象そのものは、ほとんど減らなかった。

    一覧に集めることはできても、それを製品へ残してよいかは、別の判断だからである。

    提出物に問題がなければ、その機能は完成として次へ進められる。問題があれば、どこを直すのか決める必要がある。

    入力データが足りないのか。データを集めるスクリプトが間違っているのか。手順書を直すのか。仕事そのものをさらに分けるのか。

    読む場所を集めても、この判断まで自動的に減るわけではなかった。

    品質判断が、次の工程を止めた

    品質を判断するまで、完成にもできない。次の修正も指示できない。

    一つの仕事で人間の確認が止まれば、その先にある修正、再実行、再検査も止まる。それが多くの仕事で重なった。

    AIが出力を作る速さではなく、品質を確かめる工程の速さが、開発全体の速さを決めるようになった。

    品質確認を、独立した仕事にした

    以前は、誰へ何を頼むかが人間に集中し、人間がAI同士の中継役になっていた。

    そのときは、管理を担うリーダーAIを立て、誰が何をするかを管理させた。

    今回、詰まったのは、誰へ頼むかではない。AIが作ったものを確かめ、完了かやり直しかを決める工程だった。

    この詰まりに対し、実装する担当とは別に、品質確認を受け持つ役割もAI開発チームの中に置いた。

    目的は、確認する項目を減らすことではない。品質判断の待ち時間を減らしながら、確認すべきことは減らさないことだった。

    次回は、品質確認の役割へ一連の確認を仕事として渡したが、「問題なし」だけでは何を確認したのか分からなかった話を書く。


    この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。

    開発した製品のリリース情報

    ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています:


     
     

    toshi

     
     
    教育DXエンジニア / 生成AI活用研究家 コンピュータ理工学修士/元大手ICTエンジニア。誰もが技術を使いこなし、その恩恵を受けられる社会を目指し、公立高の教育現場と二児の子育てに情熱を注ぐ。専業主夫見習い

    あなたへのおすすめ