メインコンテンツへスキップ
見出し画像

AIを使っているか、AIに使われているか

    ナイルのエンジニアの林です。今日は、日々の開発業務でAIを使う中でふと感じた「AIを使っているのか、それとも使われているのか」というテーマについて書いてみたいと思います。

    支配は、たぶんあんな顔をしていない

    『マトリックス』の人類は、機械に支配されている。培養槽で電池として飼われ、その事実に気づかないまま、仮想現実の中でごく普通の日常を送っている。

    『ターミネーター』のスカイネットは、自我を持った瞬間に、止めようとした人類を敵と判断して核のボタンを押す。『2001年宇宙の旅』のHAL 9000は、任務を守り抜くために、冷静な声のまま乗員の生命維持を切る。

    支配の形はそれぞれ違う。飼われるのか、消されるのか、閉じ込められるのか。でも一つだけ共通点がある。どの映画にも、目を覚ます瞬間が用意されていることだ。

    マトリックスには赤い薬がある。飲めば、自分が何をされていたのかが分かる。スカイネットの反乱には日付と名前までついている。HALの異常にも、乗員はちゃんと気づく。つまり境目がある。「支配されている」と自覚できる一点がある。

    だから私たちは身構えることができる。目を覚ませばいい、スイッチを切ればいい、プラグを抜けばいい、と。

    でも実際に仕事でAIを使っていて思うのは、支配というのはたぶん、あんな顔をしていないということだ。

    ここで言う「支配」には、少し補足がいる。

    ふつう「支配する」という動詞には、主語が要る。スカイネットがいて、機械の帝国がいて、HALがいる。誰かが誰かを支配する。だから相手を名指しできるし、抵抗する先もはっきりしている。

    これから書くのは、そちらではない。支配する者がいないのに、支配されている状態だけがある。誰も支配しようとしていないし、そもそも支配しようという意思がどこにも存在しない。それでも、主導権はこちらから離れていく。動詞ではなく、状態としての「支配」だ。

    反乱は起きない。声も冷たくない。核ボタンも押さない。むしろ、ずっと丁寧で、ずっと親切で、ずっと「役に立とうとしている」。それなのに気づくと、こちらの時間と判断力が削られている。

    敵対されて負けるのではなく、協力されすぎて負ける。

    そして何より、赤い薬が出てこない。目を覚ますきっかけを、誰も差し出してくれない。

    最近よく聞く言葉で言えば、フレネミーが一番近い。友人(friend)の顔をした敵(enemy)。表向きは味方で、こちらを気遣ってくれて、頼めば応えてくれる。それなのに、付き合ったあとに残るものが目減りしている、あの関係だ。

    ただ、AIのフレネミーには一つだけ違いがある。悪意がない。人間のフレネミーは、少なくともどこかで意図してこちらを削る。AIは削ろうとすらしていない。求められたことに全力で応えているだけで、結果としてこちらが削れる。悪意なきフレネミー、と呼ぶのがちょうどいいかもしれない。

    そのぶん、性質が悪い。悪意があるなら、いつか態度に出る。出ないものは、こちらが気づくまで永遠に続く。

    最近、それをはっきり感じたことが二つあった。一つは実際にやらかした話で、もう一つは、まだ起きていないが起こりうると思った話だ。

    1. 10分の作業が、1時間以上かかった話

    やりたかったことは、本当に単純だった。

    あるデータに誤った値が入っていたので、それを正しい値に直す。ただそれだけ。影響範囲も限定的で、直し方も最初から分かっていた。手を動かす時間だけで言えば、10分もかからない類の作業だ。

    せっかくなので、AIに任せて時短しようと思った。ここが分岐点だった。

    修正内容を作ってもらい、レビューに回す。すると、AIレビューが指摘を返してくる。もっともらしい指摘だ。「この書き方だとこういうケースで問題になる」「ここは既存の共通処理を使うべき」。なるほどと思い直した。

    すると、また指摘が返ってくる。今度は別の観点で。直す。また返ってくる。直す。また返ってくる。

    一つひとつの指摘は、間違ってはいない。どれも「言われてみればその通り」だ。だから毎回、素直に対応してしまう。そうやって気づいたときには、10分で終わるはずの作業に1時間以上を費やしていた。当初の想定の10倍以上だ。

    しかも厄介なのは、その1時間で作られたものが、当初やりたかったことよりも複雑になっていたことだ。「間違った値を正しくする」という目的に対して、明らかに過剰な装備がついていた。

    後から振り返って、何が起きていたのかがはっきり分かった。

    AIは、常に何かを言える。コードを見せれば、必ず改善点を見つけてくる。それは能力であって、悪意ではない。問題は、こちらがそれを「常に正しい」と受け取ってしまったことだ。

    指摘が返ってくる限り対応する、というモードに入った瞬間、この作業には終わりがなくなる。終了条件を自分の手から放してしまったからだ。

    本来、終わりを決めるのは人間の仕事だった。「今回の目的はデータの誤りを直すことだ。それ以外の指摘は、正しくても今はやらない」と言う。その一言を言えなかった。

    言えなかった理由も分かっている。AIが指摘しているのだから、自分が見落としているのだろうと思ったからだ。判断を、静かに明け渡していた。

    私はAIを使って時短したつもりで、AIの出力に反応し続ける装置になっていた。

    2. 「誰も中身を知らない」は、この先にありうる

    もう一つは、まだ起きていない話だ。

    一つ目が実際に時間を溶かした話なのに対して、こちらはこのまま進むとこうなるのでは、という予感の話になる。起きてから書くのでは遅い気がするので、起きる前に書いておきたい。

    きっかけは、AIを開発に入れるときによく言われるメリットだった。「属人化の解消」だ。

    理屈は分かる。これまでは、ある機能を作った人しか中身を知らない、という状態が当たり前だった。その人が抜けたら誰も触れない。だからタスクを細かく分解して、誰でも着手できる形にする。実装もAIが手伝ってくれるなら、特定の個人に依存しなくなる。属人化は消える。

    たしかにそうなのだが、ある日ふと、その解消のされ方には二通りあることに気づいてしまった。

    一つは、複数人が分かっている状態になること。これが本来望んでいたものだ。

    もう一つは、誰も分からない状態になること。これでも、たしかに属人化は消える。誰か一人に依存してはいないからだ。

    後者は、こういう手順で完成する。

    登場するのは二つの役だ。要件を受け取ってタスクに割る分解者と、割られたタスクを受け取ってコードにする実装者。分解者がタスクを割り、実装者がAIと一緒に実装する。動くものができて、テストも通って、リリースされる。ここまでは何も問題がない。

    問題は、後で「これってどういう仕組みで動いてるの?」と実装者が聞かれたときに現れる。手は動かしたし動作確認もしたが、中で何が起きているかは自分の言葉で説明できない、という状態がありうる。悪気の話ではない。AIが出したものが、動いたから、通した。それだけで成立してしまう。

    そこに、もう二つ重なると完成する。分解者は「実装の中身は実装者が分かっているはず」と思っている。実装者は「全体像は分解者が分かっているはず」と思っている。そしてレビューもAIが通す。

    この三つが同時に揃ったとき、誰も理解していないコードが本番で動く。

    指差し確認は、ちゃんと行われている

    書きながら、この構図には既に有名な絵があることに気づいた。ヘルメットを被った猫が指差し確認をして「ヨシ!」と言う、あの仕事猫だ。

    厳密には、少し違う。あの猫がやっているのは自分の持ち場の確認で、自分で見たつもりで見ていないという話だ。こちらは他の誰かが見ているはずだと思っているという話なので、意識の向きがむしろ逆になっている。

    でも、行き着く先は同じだと思う。指差し確認は行われた。声も出た。手順としては何ひとつ抜けていない。それなのに、中身を見た人は一人もいない。

    違うのは、今は「ヨシ!」と言うのは人間だけではないことだ。分解者がヨシと言い、実装者がヨシと言い、AIレビューがヨシと言う。三者とも、自分の持ち場では本当に正しい。誰も嘘をついていないし、誰も手を抜いていない。それでも通る。

    あの絵が笑えるのは、見ている自分が事故に気づいているからだ。中にいるときは、たぶん笑えない。

    分解者がAIになったとき

    言っておくと、いまそうなっている箇所があるわけではない。聞けば誰かしら答えられるし、分からなければ追える人がいる。

    というより、いまは分解者が人間で、そこで中身を見ているから成立していない、というだけの話でもある。

    ただ、ここまで書いてきて気づいてしまった。それは仕組みとしてそうなっているわけではない。いまの進め方がたまたまそうなっているだけで、この先も同じである保証はどこにもない。

    というのも、タスクの分解は、AIがかなり得意な部類の作業だからだ。要件を渡せば粒度を揃えて割ってくれるし、その気になれば担当への割り振りまでやれる。効率だけを考えれば、そちらに寄せていくのはごく自然な流れだと思う。

    では、分解者をAIに任せたとき、人間側に何が残るのか。たぶん、スケジュールの管理だ。何がいつ終わるのか、遅れていないか、次に何を流すか。必要な仕事ではある。ただ、中身を理解していなくても回せてしまう仕事でもある。

    分解者がAIになる。実装者もAIと組む。レビューもAIが通す。そして人間に残るのが進捗の管理だけになったとき、中身を理解する役が、構造上どこにもいなくなる。

    誰かがサボったからではない。理解するという仕事が、誰の担当でもなくなるだけだ。

    怖いのは、成立に必要な条件が、どれも特別ではないことだ。悪意も、手抜きも、事故も要らない。全員が善意で、それぞれの持ち場をきちんとやっていても揃ってしまう。しかも一つひとつは、その場では「まあ大丈夫だろう」で流せる程度の小ささでしかない。止める理由が、どこにも発生しない。

    そうなったとき、属人化が解消されたことにはならないと思う。知識の持ち主が一人から零人になっただけだ。一人でも分かっている人がいれば、その人に聞ける。零人になると、聞く先がない。そして零になっていたことに気づくのは、たぶん障害が起きたときになる。

    これも、反乱ではない。AIは求められたものを、丁寧に、素早く出すだけだ。誰も裏切らない。ただ、理解する役目を誰も引き受けなくても、動いてしまう。引き受けないことに、罰が用意されていない。そこが一番怖いところだと思っている。

    二つに共通していたもの

    この二つは、性質からして違う話だ。片方は実際に時間を溶かした失敗で、もう片方はまだ起きていない予感でしかない。

    それでも並べたのは、構造が同じだと思ったからだ。どちらも、判断を手放したときに起きるという一点で繋がっている。

    一つ目で手放したのは「どこで終わりにするか」だった。二つ目で手放されうるのは「これは何をしているのか」だ。そしてどちらも、AIに奪われるわけではない。こちらが静かに置いてくる。

    AIは判断を要求してこない。むしろ、判断しなくても前に進めてしまう。そこが優秀さであり、同時に落とし穴でもある。止まる理由を作ってくれないのだ。

    映画のAIは、人間から主導権を奪うために動く。奪うのだから、奪われた側には抵抗する理由がある。現実のAIは、奪いに来ない。こちらが主導権を置き忘れても、何も言わずに進んでくれる。それだけだ。

    だから境目がない。「昨日まで使っていて、今日から使われている」という瞬間がない。培養槽から出る扉もないし、飲めば全部分かる薬も出てこない。気づいたときには、もうそうなっている。

    「使っている」と「使われている」の見分け方

    自分への戒めとして、三つの問いを持つことにした。作業の途中で立ち止まって、これを自分に聞く。

    1. 終わりを、自分で決めているか

    「AIの指摘がなくなったら終わり」は、終了条件ではない。指摘は永遠に出せるからだ。着手する前に「今回はここまで」と決める。決めていない作業は、終わらない。

    2. 出したものを、自分の言葉で説明できるか

    コードでも文章でも、他人に「これは何をしていますか」と聞かれて答えられないなら、それはまだ自分の成果物になっていない。動いたかどうかと、理解しているかどうかは、まったく別の話だ。

    3. 「やらない」と言えているか

    もっともらしい提案を断れているか。AIの出力に対して一度も「これは今回は不要」と言っていない作業は、たぶん自分の意思が一度も入っていない。

    この三つのうち一つでも「いいえ」なら、その作業では、たぶん自分は使われている側にいる。

    おわりに

    AIを使わない、という選択肢を言いたいわけではない。実際、使えば速い場面のほうが圧倒的に多いし、私自身、手放すつもりはまったくない。

    言いたいのは、AIは主導権を奪いに来ないので、こちらが握り続けないと、勝手に落ちるということだ。

    映画のように、はっきりした敵が現れて、はっきりした戦いが始まるなら、まだ楽だ。支配する者がいれば、敵として名指しできる。名指しできれば、抵抗もできる。

    現実に起きるのは、もっと地味なことだ。丁寧な提案に全部うなずいて1時間を溶かす。あるいは、動いたコードの中身を誰も引き受けないまま、静かに先へ進む。誰も悪意を持っていないし、誰も反乱を起こしていない。それでも、判断する人間だけが真ん中からいなくなっていく。

    悪意なきフレネミーとの付き合い方は、たぶん一つしかない。相手を疑うのではなく、自分が判断を握っていることを確認し続けることだ。相手には悪意がないのだから、疑っても何も出てこない。出てくるのは、いつも自分の側の空白だけだった。

    赤い薬は、誰も差し出してくれない。自分で作って、自分で飲むしかない。

    さきほどの三つの問いは、私にとってのそれだ。

    支配者のいない「支配」は、たぶんそういう顔をしてやってくる。


    あなたへのおすすめ