
【AI開発のリアル #25】 私も、AIに祈っていた
24回かけて、一つの製品ができるまでと、その工程をテーマごとに書いてきた。
部分ごとの話が続いたので、ここで一度まとめる。なぜこれを書いているのか。何を伝えたいのか。
先に断っておく。これは今の時点での私の考えである。この78日で、私は何度も考えを改めた。1ヶ月後には違うことを言っているだろう。そのぐらいAI時代の移り変わりは早い。
ここまでに書いたこと
24回もかかったのは、一つ解くたびに次の問題が出てきたからである。作る前の話から、できたものを疑う話まで、順に並べておく。
1. 何を作るのかを決めるまで
「うちは大丈夫か」と聞かれても、そのままでは答えようがない。何が分かれば答えたことになるのか。そこを決めないと、AIに何を頼めばいいかも決まらなかった。
2. AIを、会社の形に並べるまで
一人のAIに全部やらせようとして、破綻した。仕方なく役割を分けていったら、人間の会社と同じ形になった。なぜ会社があの形をしているのかが、作りながら分かってきた。
3. 「専門家」の中身を、51に分けるまで
「セキュリティの専門家です」と名乗らせても、何も起きない。役職名の中身を、何を見て何と比べるのかまで書き出した。5人分で51になった。ここにいちばん時間をかけた。
4. 相手の性質を知り、任せ方を決めるまで
AIは、こちらが期待するような相手ではなかった。前回のことは覚えていないし、渡した数字を勝手に書き換える。性質が分かって、ようやく任せ方が決まった。
5. できたものを、疑うまで
出てきたものは、読める形をしている。正しいかどうかは、まったく別である。ここを詰めるのに、発表した後まで時間を使った。
ここから先は、この24回が結局どういう話だったのかを書く。
私も、祈っていた
始めたときの私は、こう考えていた。
セキュリティの専門家としてのAIに、大量のログを与える。そうすれば、何か良い結果を出してくれる。
そのログは、一つの顧客の一か月分でも、膨大すぎて人が読み通せる量ではない。その量の話は、また別に書く。
読めないから、任せたかった。いま振り返れば、無邪気な祈りである。正しい答えが返ってくる根拠は、何もなかった。
返ってきたのは、もっともらしいものだった。読める形をしていた。だから危なかった。
なぜ、祈ってしまうのか
いま、現場で動く機械にAIを載せる話が広がっている。
あれは、この対極にある。現場の人が何を見て、どう手を動かしているのかを調べ、分解して、機械を動かす頭脳へ入れていく。
機械に向かって「売り上げを上げてほしい」と祈る人はいない。間に何が必要かが、目に見えるからである。
言葉を扱うAIは、その間が見えない。ログを入れれば、答えらしいものが出てくる。何をどう読んでそうなったのかは、外からは分からない。
見えないから、祈れてしまう。そして祈ると、何かが返ってくる。
返ってきたものが正しいかどうかは、確かめないと分からない。確かめないかぎり、祈りは続く。
私も、そうだった。
並べ直すと、同じことをしていた
書いてきたことを、別の切り口で分けてみる。大きく四つになる。
何ができあがったか
何を作ったか
そのために、どんな工夫をしたか
その工夫の裏で、どんな失敗をしたか
書き始めたときは、テーマごとに分けて書くつもりだった。だが24回を並べ直すと、四つとも同じ一本の話だった。
祈るのをやめて、自分たちの仕事を分解していく話である。作っていたときの私は、それに気づいていない。作りながら、順に分かってきた。
分解は、読み返すことから始まった
最初にやったのは、AIを動かすことだった。
着手した日のうちに、レポートは出てきた。専門家が書いたように読める文章だった。
だが、読み返すほど引っかかった。これは顧客が知りたいことなのか。答えが出ないまま、何度も読み返した。自分でも何に引っかかっているのか、言葉にできなかった。
5日かけて、中身を一つずつ数えた。8つの章のうち6つが、集計した数字を文章へ言い換えたものだった。
引っかかりの正体は、そこだった。CDNの管理画面を見れば分かることを、別の言い方で並べていただけである。
そこで、通す条件を4つの問いにした。管理画面で分かることではないか。何が起きているのか。明日、何をすべきか。専門家でなければ書けないか。
できあがっていたレポートは、通らなかった。捨てた。
つまり、問いを分けたのは最初ではない。もっともらしい答えを読み返した末に、こちらの問いのほうが足りないと分かった。
何ができれば完成なのかを決めたのも、AIではなく人間だった。
同じことが、その後も続いた。一人のAIに全部やらせようとして、うまくいかない。人間の会社を真似て、管理する係と作業する係を分け、成果物は担当の中に溜めずファイルで受け渡した。
それでも動かなかった。分かったのは、役職名を与えても仕事にはならないことだった。
「セキュリティの専門家です」と名乗らせても、何を見て、何と比べ、どこまで言うのかは決まらない。役職名だけを渡すのも、祈りの一種である。
いま思えば、ここまでで私はずっと自分たちの仕事を定義していた。だが当時は、AIの使い方を工夫しているつもりだった。
祈りが、はっきり失敗した
手元で動かす箱を作り、専門家の仕事を、丸ごとローカルLLMへ任せた。
原因はモデルの賢さではなかった。渡した仕事が大きすぎた。
そこで、限られた入力で繰り返せる作業だけを任せる形に変えた。
それでもこの時点の私は、まだ「AIの使い方を間違えていた」と考えていた。
気づいたのは、書き出しているときだった
専門家が実際に何をしているのかを、一つずつ書き出していった。
何を見るのか
何と比べるのか
どこまでなら言えるのか
答えられないとき、何が足りないのか
書き出しながら気づいた。私が書いているのは、AIへの指示ではない。人間の仕事の手順書である。
AIに詳しくなる必要はなかった。必要だったのは、自分たちの仕事を、他人に渡せる形にすることだった。
一つの仕事に、手順書と、専用の入力と、決まった出力と、検査を持たせた。答えから根拠まで、後から人間がたどれるところまで分けた。
いちばん時間をかけたのは、ここである。
分け方が決まったのは、相手の性質が分かったからでもある。AIは、入力のたびに別人になる。前の仕事は覚えていない。知識はあるが、この現場の事情は知らない。渡した書類が世界のすべてになる。
だから毎回、手順と資料を一緒に渡す。51という形は、そこから決まった。
任せる範囲も、評判や性能表ではなく、実際の仕事で一つずつ試して決めた。計算済みの数字を渡したのに、勝手に計算し直して別の数字を書かれたこともある。
数えられる事実はスクリプト、意味づけはAI。連載の前半で原則として書いたこの分け方は、こうした失敗を経て、実際の規則になった。
決めることは、移せなかった
動いていても、正しくなければ捨てた。前提から間違っていれば、部分的に直さず、設計ごと捨てた
AIが出力を作る速さではなく、私が品質を判断する速さで、開発が止まるようになった
確認をAIへ渡したあとも、「すべて完了」という報告を、私は完了にしなかった
確認した項目と根拠が残る形にして、ようやく検査を減らさずに回せるようになった
ここまで来て、はっきりした。
AIへ移せたのは、手順が決まっていて、繰り返せる部分だった。移せなかったのは、何を仕事とするかを決める部分である。
何を作るのかを決める
何ができれば完成なのかを決める
出てきたものを確かめ、間違っていれば捨てる
その判断の責任を負う
責任は、AIへは渡せない。だから頼む側が、自分の仕事を理解し、分解し、出てきたものを検収する必要があった。丸投げは成立しなかった。
知る必要があったのは、AIのことではなかった
24回を並べ直すと、やっていたことは最初から最後まで同じだった。
自分たちの仕事を、他人に渡せるところまで分解する。
私が知る必要があったのは、AIの仕組みでも、AIの育て方でもなかった。自分たちが、どんな仕事を、どのようにしているのかだった。
書いてみれば当たり前である。だがAIを前にすると、この当たり前が消える。
まだ書いていない失敗のほうが、多い
冒頭に挙げた四つのうち、四つ目がいちばん書けていない。
どんな工夫をしたかは書いた。だが、どんな失敗をしてその形にたどり着いたかは、まだほとんど書いていない。たとえば、こういうことがあった。
もっともらしいまま間違っている答えを、何度も掴まされた
検査したはずのものが、検査されていなかった
借りて使えるAIには上限があり、それで開発が止まった
作り上げたものを、丸ごと捨てて作り直した
直したつもりが、別のところを壊していた
顧客へ出す形にする最後の段階で、いくつも取りこぼした
順番は決めていない。書ける材料が揃ったものから書く。
工夫だけを並べると、うまくいった話に見えてしまう。実際には、その裏側のほうが厚い。
これは、AIの話ではない
分かれ目は一つだと思っている。
自分の仕事を分解して、どこが価値を生んでいるのかを、正しく理解できているか。
理解していれば、それを仕組みにできる。理解していなければ、AIに何を頼めばいいかも決められない。
そしてこれは、AIが新しく持ち込んだ問題ではない。人と金とものを集めれば利益が増える、と考えてしまうのと同じ形をしている。昔からある話である。
私は、祈って始めた
そして、自分たちの仕事を書き出すところへ戻った。本質はそこにあった。
24回書いてきたのは、その過程である。伝えたかったのは、AIの使い方ではない。祈る相手を探すより先に、自分の仕事を分解するほうが早い。 それだけである。
冒頭に書いたとおり、これは今の時点での考えである。作り終えてから、まだ一か月あまりしか経っていない。それでも私の考えは変わった。また変われば、また書く。
この連載は、Webサイト攻撃状況レポートサービス「ミツケル」ができるまでの記録です。
開発した製品のリリース情報
ミツケルが実際に何を見つけているかは、同僚が技術者向けの連載に書いています: