
【AI開発のリアル #65】 AIに全部作らせた78日、人は何をしていたのか
AIだけでコードを書いて、製品まで作れるのか。
作れます。
私は、この製品のコードを書いていない。実装したのはAIだ。テストもAIがやった。
プロトタイプではない。実際に顧客へ提供している製品である。
ここまで64回、この連載では、その裏側を書いてきた。
プロトタイプは初日にできた。製品として世に出すまでには78日かかった。
では、その78日間。
コードを書いていたのがAIなら、人間の私は何をしていたのか。
今回は、そこを感覚ではなく、残っている記録から見てみる。
78日間に、AIがした仕事
前回は、機械の側をどう測るかを書いた。
見るべきなのは、何トークン処理したかではない。そのトークンで、何件の仕事が終わったかだ。
同じ見方で、4月10日から6月27日までの78日間を数えた。
ここでいう「AIがした仕事」は、AIがアクセスログを一件ずつ直接読んだ、という意味ではない。
AIがコードを書き、実行する。
結果を確認して、必要なら書き換える。
もう一度実行して、また結果を見る。
解析やテストに時間がかかれば、その処理を走らせ、終わるのを監視して、結果を受け取って次へ進める。
そこまでを含めて、AIに仕事を任せていた。
78日間に残っている記録は、こうなった。
処理させたデータ
アクセスログ 102億リクエスト(全体を通した1回あたり)
延べ 27か月分のアクセスログ
読み込み速度 毎秒19万リクエスト
実行した処理
全体を一度解析するのに 7時間40分
部分実行やテストを含む解析処理 5,590回
うち10分を超えた実行 2,586回
実行時間の合計 延べ1,842時間 (並列実行を含む)
残った実行ログ 8,966本
残した解析結果
解析途中の要約 182件
最終段階の解析結果 244件
専門家役のAIが作った所見 840件
開発したもの
コミット 1,047回
コミットがあった日 54日
1日の最多コミット 92回
変更したファイル 6,405個
コード 790,558行追加
コード 461,132行削除
文書 597,647行追加
では、AIはどれくらいの時間、この仕事をしていたのか。
AIと開発した実日数 65日
AIの稼働時間(推定) 延べ約750〜800時間
AIが走らせた処理時間 延べ1,842時間。
これが、78日間のAI側で起きていた仕事である。
それでも、78日かかった
それでも、製品になるまでには78日かかった。
これだけの仕事をAIに任せても、製品になるまでには78日かかった。
では、その78日間、人間はどれくらい関わっていたのか。
人間は、402時間・7,796回
人間の側も、AIへ送った記録から78日間を数えた。
出した指示
指示 7,796回
打った文字 629,292字
1回あたり 中央値58字
3.2分に一度
1日あたり 120回
同時に動かしたAI 平均1.3本・最大7本
AIと対話した日数 65日
AIと対話した時間 402時間
人間が読んで判断したもの (推定含む)
受け取った返答 約80,000件
AIが使った道具の結果 約36,000回ぶん
AIの文章 約839万字(新書84冊ぶん)
ファイルや実行結果の出力 約3,504万字(新書350冊ぶん)
合計 約4,343万字(新書434冊ぶん)
1日あたり 返答1,234件・67万字
指示と指示の間隔が、15分以上あいた時間を除いて集計した。
また、複数のAIを同時に動かしていた時間は重ねて数えていない。
それでも、402時間あった。
これは、AIとの対話記録から見える、人間の開発時間の一部だけを数えた数字である。レポートを人に渡して評価を受けたり、社内で方針を話し合った時間などは含まれていない。
その402時間で、何をしていたのか
コードは書いていない。テストもしていない。
やっていたのは、AIが出した結果を見て、次に何をさせるかを決めることだった。
何をもって完成とするかを決める。
専門家の仕事を51に分ける。
AIが出した数字を採らないと決める。
動くものを設計ごと捨てる。
「大丈夫」と言うのをやめる。
その繰り返しを、この連載は64回かけて書いてきた。
いま思えば、ここまでで私はずっと**自分たちの仕事を定義していた。**だが当時は、AIの使い方を工夫しているつもりだった。
AIに任せる仕事は増えていった。
その一方で、人間には、何を任せるか、出てきたものを採るか捨てるか、次にどこへ進むかを決める仕事が残っていた。
やっていた仕事が、違った
AIは、コードを書き、試し、直し、解析を回した。
人間は、その結果を見て、次に何をさせるかを決め続けた。
どちらも、78日間の開発で起きていた。
AIが作ったから、人間が何もしなくなったわけではない。
かといって、結局人間が作っていたわけでもない。
やっていた仕事が、違った。
チャチャっと一発で作ったのではない。
チャチャっと作って、
チャチャっと試して、
チャチャっと捨てて、
またチャチャっと作る。
それを78日間、この量で繰り返して、製品になった。
この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。
開発した製品のリリース情報
ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています: