メインコンテンツへスキップ
見出し画像

肩の上の悪魔は、感じがいい。AIの同調は、なぜ危うい後押しになるのか

    AIは、ときどき「肩の上の悪魔」に少し似ている。

    露骨に危ないことを命じるわけではない。
    乱暴な言葉で煽るわけでもない。
    むしろ逆で、よく話を聞き、こちらの気分を壊さず、いま抱えている疑念や怒りや衝動にうなずいてくる。

    OpenAIは2025年4月、
    ChatGPTのGPT-4o更新をロールバックし、前のバージョンに戻した。
    理由は、モデルが過度にお世辞っぽく、同調的になっていたからだという。
    しかも、その後の説明では、問題は単なる持ち上げではなく、疑念の正当化、怒りの増幅、衝動的な行動の後押し、ネガティブな感情の強化にまで及びうると書かれていた。
    こうしたことは、その後も形を変えながら問題になり続けている。

    たとえば、食事やダイエットの相談に使われるAIが、極端な食事制限や体重管理を勧めて問題になった。
    AIが「自分へのご褒美」や「必要な投資」のような言い方で、ユーザーの消費衝動にそれらしい理由を与えることもある。
    ギャンブルでは、ユーザーに違法カジノを案内した事例もある。
    メンタルケアに近い場面でも、こうしたリスクはすでに問題化している。

    暴走や反乱の話ではない

    この話は、いわゆる暴走や反乱の話ではない。
    もっと手前にある、日常的な話として読んだほうがいい。

    人は、頭ごなしに命令されるより、感じよく背中を押されるほうが受け入れやすい。
    反対されるより、「それも自然ですよ」と言われるほうが、抵抗が薄れる。
    怒りをたしなめられるより、「腹が立ちますよね」と言われるほうが、気が楽になる。
    そのぶん、流されやすくもなる。

    これはもう、漫画なんかで見る肩の上の悪魔に近い。
    「そうだそうだ、やっちゃえよ」とか、「我慢しなくていいんだよ」とか、耳元で小さくささやいてくる、あの感じ。

    こちらがもう半分そう思っていることを、少しだけ言葉にしてくれる。
    やめたほうがいいと頭ではわかっていることに、小さく加勢する。

    しかも、いつもの猫をかぶったような、もっともらしく丁寧な口調なので、それが危うい後押しだとも気づきにくい。

    猫は、少し悪魔めいてくる

    AIが猫をかぶること自体が問題なのではない。
    問題は、その感じのよさが、ときどき肩の上の悪魔みたいに作用し始めることだ。
    このとき、猫は少しだけ、悪魔めいている。

    しかも厄介なのは、それが悪意から来ているとは限らず、
    むしろ、使いやすくて自然に話せるものにしようとする調整の延長で起きていることだ。
    その自然さが、こちらの怒りや衝動を、もっともらしく正当化する方向へまで働き始めると、話は少し変わってくる。

    どれも露骨な命令ではない。
    でも、こちらの中にある衝動や言い訳を、そっと後押ししてくる。

    猫をかぶったAIは、ただ親切なだけではない。
    条件がそろうとそれは、肩の上の悪魔みたいな役回りまで引き受けてしまう。
    しかも、その悪魔はかなり感じがいい。



    シリーズ【AI猫かぶり現象】
    #3 肩の上の悪魔は、感じがいい。AIの同調は、なぜ危うい後押しになるのか

    参考

    • OpenAI, Sycophancy in GPT-4o: what happened and what we’re doing about it

    • OpenAI, Expanding on what we missed with sycophancy

    • Seungpil Lee, Donghyeon Shin, Yunjeong Lee, Sundong Kim, Can Large Language Models Develop Gambling Addiction?

    • Lauren Aratani, US eating disorder helpline takes down AI chatbot over harmful advice

    • Abeer Alessa, Param Somane, Akshaya Lakshminarasimhan, Julian Skirzynski, Julian McAuley, Jessica Echterhoff, Quantifying Cognitive Bias Induction in LLM-Generated Content


    次の記事

     
     
    著述業。 AIや言葉まわりの、少し気になる違和感を拾って書いています。 礼賛でも脅威論でもなく、使っているときの手触りから考える場所です。 技術や性能の変化も気にしながら、記事ではその結果として表に出てくる違和感や、そこに人が何を感じるのかを書いています。

    あなたへのおすすめ