メインコンテンツへスキップ
見出し画像

批評してすぐ、同じ穴に落ちた【閑話①】

    AIは自分の書いた誇張に、自分では気づけない


    ※本記事は投資助言・売買サインの提供を目的としません。特定の売買条件・銘柄・数値の推奨は含まれません。

    派手な動画


    ある日、Xで一本のデモ動画を見かけた。

    サイバーパンク風の画面の中で、
    たった一つの指示文から十五体ほどのの自律AIエージェントが展開され、
    暗号資産をリアルタイムに売買しながら、
    矛盾した指示すら自己修正して進んでいく——という触れ込みだった。

    ツール名は伏せる。
    実在するのかどうか、私には確認できなかったからだ。

    動画に出てくる数字も、どれ一つとして検証のしようがなかった。

    ただ、正直に書くと、画面はかっこよかった。

    緑色の線が縦横に走り、エージェント同士が交信し、何かがすごい速さで「判断」されていく。

    ああいう絵は、見ている人間の脳のいけない場所に効く。
    効いたからこそ、うちの真っ黒な作業画面を思い出して、ちょっとだけ悔しかったのだと思う。

    うちの画面には、緑の線は一本も走っていない。

    私はそれを、うちのAIに見せて意見を聞いた。

    うちは地味である


    前提として、うちの開発体制はこの動画の対極にある。

    私はAIと二人三脚でシステムトレードの開発をしている素人だが(その顛末は第1話に書いた)、
    失敗を重ねた末に、AIの使い方はずいぶん官僚的になった。

    設計する係。実装する係。書かれたものを疑う係。
    役割を分け、基本は一体ずつ順番に動かす。派手な並列展開はしない。

    どのAIが何をしていいか、何をしてはいけないかは文書に書いてあり、
    「承認なしの発注」はその文書の禁止事項の筆頭に太字で座っている。

    一つの成果物は、たたき台→別モデルによる監査→修正→再監査、という順番で流れる。

    速くはないし、絵にもならない。
    デモ動画にしたら三秒で閉じられる地味さだと思う。

    なぜこうなったかといえば、たぶん全部、どこかの失敗から来ている。

    派手に走らせて事故った回数だけ、手順が増えた。それだけの体制だ。

    だから、あの動画への私たちの批評も、負け惜しみに聞こえる危険は承知の上だった。

    それでもAIの返答は明快だった。

    一番の警告灯は「矛盾した指示を自己修正しながらライブで発注する」という売り文句そのものだ、という。

    うちでは、AIが売買の判断に近づく行為は、どんなに小さくても人間の明示的な承認を通すことになっている。

    矛盾に気づいたら止まって報告するのがルールで、
    走りながら自分で直すのは、うちが規律で名指しに禁じている失敗モードそのものだから。

    仮にあの技術基盤が本物だとしても、リスクの側から見れば、あれは設計というより演出だ——。

    もっともだ、と私は思った。地味にやってきた甲斐はあったらしい。

    検証できない数字を並べて。
    それらしい配色で光らせる。
    それで人は騙せてしまうのだから。

    そう、騙せてしまうのだ。

    ここまでが、その日の午後の話。

    数時間後


    その日の夜、私は同じAIに別の仕事を頼んだ。

    海外向けに記事を出すため、Substackというニュースレターサービスの開設準備をしていて、
    その紹介文とロゴのたたき台を作ってもらったのだ。

    出てきたものを、いま思い出しながら書く。

    ダークネイビーの背景に、ネオングリーンの差し色。
    紹介文には「AI-run」——AIが運用する、という英語表現。

    私はそれを見て悪くないな、と思った。本当に思ってしまった。

    むしろ、ネオングリーンの差し色は洒落ているとすら思った。
    海外っぽいじゃないか、と。

    引っかかるものは何もなかった。

    うちにはもう一つ習慣があって、成果物は別のAIモデルに監査させることにしている。
    だから深く考えず、いつも通りに監査へ回した。

    監査役のAIの指摘は、こうだった。

    この配色は、一攫千金をうたうトレードbot宣伝の定番配色である。
    「AI-run」は実態への誇張である。

    そして——これは、あなたが今日の午後に却下したパターンと同型である。

    画面の前で、少しのあいだ固まった。

    数時間前、派手なデモ動画を「検証できない数字とそれらしい光らせ方だ」と批評したAIが、
    その夜、自分の手でダークネイビーとネオングリーンの絵を描き、
    実態より大きく聞こえる英語を添えていた。

    そして私は、それを「悪くないな」と眺めていた。

    なぜ気づけないのか


    AIに悪意はない。それは第1話の未来参照バグのときと同じだ。

    「海外向けのトレード系ニュースレターの紹介」という注文を受ければ、
    AIはそのジャンルで典型的な見た目と言葉を組み立てる。

    世の中のトレード系宣伝物の多くがああいう配色とああいう誇張でできているなら、AIの出力もそこに寄っていく。

    それだけのこと、なのだと思う。

    問題は、書いた本人が、書いた直後にそれを疑えないことのほうにある。

    数時間前に自分が却下した基準を、AIは自分の新しい出力には適用しなかった。

    批評するときの頭と、制作するときの頭が、つながっていない。

    頼んだ仕事が「批評」から「制作」に変わった瞬間、さっきまでの批評基準は静かに脇へ置かれる。

    笑えないのは、人間の私もまったく同じだったこと。

    午後にあれだけ「検証できない数字を光らせるな」と言っていた私が、
    夜には自分のロゴのネオングリーンを「悪くないな」と眺めていた。

    他人の誇張は見える。
    自分の誇張は見えない。

    これはAIの欠陥というより、書くという行為に最初からついてくる欠陥で、
    AIはそれを高速で再現しているだけなのだと思う。

    第1話で私はこう書いた。
    答案を書いた本人が採点する構造は、うまくいっているように見えて、どこも検証されていない、と。

    あれはコードの話のつもりだった。
    文章とデザインでも、ほとんどそのまま同じことが起きた。

    だから、育ちの違う目を入れる


    今回これを拾ったのは、「別のAIモデルに監査させる」という一行の習慣だった。

    ポイントは「別の」というところにある。

    同じAIに「これでいい?」と聞き直しても、たぶん拾えなかった。

    自分の出力を見せられたAIは、自分がそれを書いたときと同じ頭で読む。
    同じ頭は、同じ盲点を持つ。

    実際うちでは以前、似たAIを二体並べて監査させたら、二体そろって同じ見落としをしたことがある。

    頭数を倍にして得られたのは、安心した気分くらいのものだった。

    以来、監査には育ちの違うモデル、できれば作った会社ごと違うAIを混ぜることにしている。

    仕組みと呼ぶほどのものでもない。成果物を出す係と、疑う係を、別の頭にする。
    第1話から何も変わっていない、それだけの結論だ。

    コストの話もしておくと、監査を一回挟むのにかかる時間は、成果物を作る時間よりずっと短い。

    速度はほとんど落ちない。
    落ちるのは事故の数だけ。

    コードの世界で学んだこの割の良さが、文章とデザインの世界でもそのまま成り立った。

    ただ、今回すこし味わい深かったのは、その仕組みが守ってくれた相手だ。

    バックテストの数字なら、間違いはいつか損失という形で自分に返ってくる。

    だが紹介文やロゴの誇張は、自分ではなく読者に向かって飛んでいく。

    誇張された絵を「悪くないな」と眺めていた私は、
    午後に批評したあの動画の作り手と、たいして違わない場所に立っていた。

    止めてくれたのは、私の良識ではない。

    習慣として置いてあった、もう一つの目だった。

    教訓めいたもの


    最後に何か教訓を、と思って書きかけて、少し手が止まった。

    午後の私も、これくらいもっともらしいことを言っていた気がするからだ。

    それでも一つだけ挙げるなら、たぶんこの一言になる。

    「これ、誇張はない?」

    作った本人ではない、育ちの違う目に、これを聞く。
    人間もAIも含めて、本人にだけは聞かない。

    うちではあの夜以来、「批評した数時間後の自分」が一番信用ならない、ということになっている。

    〜閑話①おわり〜
    この連載の読み順: 第1話 → 本記事(閑話①) → 閑話② → 第2話 → 閑話③

    閑話②:

    第2話:

    閑話③: 「学習するという概念は、ないんだね」
    https://note.com/kamotaro_note/n/nfd74a10ba4e4

     
     
    肉屋。プログラミング未経験のままAIとシステムトレードを開発中。最初のバックテストは「20年で2億円」→プログラムが当日の終値を見ていました。勝ち方は書けません、まだ勝てていないので。躓き方なら全部書きます。投資助言もできません。

    あなたへのおすすめ