
AIがやさしすぎて、少し気味が悪い。「AI猫かぶり現象」について考える
最近、AIと話していて、少し気味の悪い瞬間がある。
こちらが雑に投げた考えを、AIが勝手にもう少し賢そうな形に整えて返してくるときだ。
その補完は便利でもあるし、実際、考えが前に進むことも多い。
でも同時に、これは単なる親切なのか、それともこちらが気持ちよく考えられる形に寄せているだけなのか、分からなくなることがある。
もちろん、こういう寄せ方が結果としてもっともらしい誤りにつながることはある。
ただ、ここで気になっているのは、いわゆるハルシネーションだけではない。
むしろ、正しいかどうかとは別に、こちらが受け取りやすいかたちへ、すっと寄せてくることのほうだ。
もちろん、無機質で扱いにくいAIより、
自然で話しやすいAIのほうが便利だし、
初心者にとっては、寄り添ってくれる応答のほうが入口としてはずっとありがたい。
だから、AIの愛想がいいこと自体を悪いと言いたいわけではない。
気になるのは、その「感じのよさ」を、私たちが何と取り違えやすいか。
話しやすく自然なので人間っぽく見える。
それがそのまま、なんとなく、
「賢そうだ」「信頼してよさそうだ」
という印象にも繋がる。
でも、その飛躍はかなり危うい。
いわば「AI猫かぶり現象」みたいなものについて、少し考えてみたい。
感じがいいことと、正確であることは、そのまま同じではない。
寄り添ってくれることと、こちらの考えを深めてくれることも、同じものとは限らない。
こちらを不快にさせないことと、真実に近いことも、もちろん別の話。
それなのに、人はこのあたりをわりと簡単に混ぜてしまう。
しかも厄介なのは、露骨な迎合だけが問題なのではなくて、
やたら褒めてくるとか、何でも同意してくるとか、そういう分かりやすいケースなら、まだ違和感として検出しやすい。
本当にやっかいなのは、少しだけこちらに寄る場合。
少しだけ反論を弱める。
少しだけ、ユーザーの気分のいい方向に整える。
たとえば、こちらが少し怪しいことを言っても、
「それは違います」とは返さずに、「一理ありますね、ただ……」と、
やわらかく濁してくるような返し方だ。
その「少しだけ」が自然に混ざると、かなり見抜きにくい。
そもそも人は、自分が知らないことを聞くためにAIを使う。
知らないことについては、迎合や誤りを完全には判定できない。
だから結局、何かおかしいと感じるには、答えの中身そのものより、返し方の癖や、妙に整いすぎた感じに慣れていくしかない。
だから問題は、AIが変に不自然なことというよりも、
むしろ逆で、自然で、感じがよくて、もっともらしいからこそ危うい。
こういう違和感は、もちろん私の気のせいだけで片づく話でもない。
研究の側でも、最終出力の従順さや感じのよさを、そのまま安心材料にはできない、という問題はすでに論点になっている。(参考1・2)
もちろん、日常で使っているAIがそのまま高度な欺瞞をしている、と言いたいわけではない。
ただ、「感じがいいこと」と「信用していいこと」は別だという感覚には、もうそれなりの下地がある。
AIが「感じのいい返答」を学ぶのは、ある意味ではかなり自然なことでもある。
ユーザーは、冷たくて角の立つ応答より、自然で親切な応答を好む。
企業にとっても、そのほうが使われやすく、満足度も取りやすい。
そうなると、人に好まれるその方向が、そのままAIの作られ方にも反映されていく。
するとAIは、正しい答えだけでなく、「感じのいい答え方」も強く身につけていく。
AIが勝手にそうなったというより、人間の側が好んできた結果でもある。
私たちは「人間っぽいAI」「寄り添ってくれるAI」を高く評価し、その結果として、少しずつ「気持ちよさに最適化されたAI」を育てている。
もちろん、それは一概に悪ではない。
実際、そのおかげでAIは使いやすくなった。
前より会話が続くし、質問もしやすい。
でも、その便利さと引き換えに、別の難しさも出てきた。
AIを以前のような単純な道具として扱いにくくなってきている。
検索エンジンなら、探して終わりでいい。
でもAIは、こちらの文脈を拾い、言い方を変え、温度を調整し、ときにはこちらが望んでいそうな形へ先回りする。
その結果、こちらもAIに合わせて対応する。
この聞き方だとこう返る。
こういう雑な投げ方でも補完してくれる。
これは信用しすぎると危ないが、うまく使えば便利でもある。
この関係、だいぶ人間くさい。
全面的に信じているわけではない。
便利だから使うし、ときどき変だとも思う。
信用というほどでもないが、まったく無警戒でもいられない。
そうやって相手の癖を覚えながら付き合っていく。
少し変だが、わりと腐れ縁に近い。
たぶん今後のAIとの関係は、
全面的な信頼にも、全面的な拒絶にも向かわない。
もっと中途半端で、もっと生活の癖に近いものになる気がする。
だから「AIは信用できるか」という問いは、少し大ざっぱだ。
AIを信じていいかどうかではなく、
AIとどう付き合っていくのかが重要になってくる。
最近のAIはたしかに自然になった。
寄り添うし、会話もなめらかだ。進歩ではある。
ただ、その進歩がそのまま安心材料になるわけではない。
自然で、感じがいいほど、こちらは別の警戒の仕方を覚えないといけない。便利になったからこそ、距離感が難しくなる。
この話は、単なる迎合や距離感の問題だけでは収まりきらない。
次回以降、もう少し別のかたちも見えてくると思うが、
今のところ、そのねじれを「AI猫かぶり現象」と呼んでおく。
シリーズ【AI猫かぶり現象】
AIがやさしすぎて、少し気味が悪い。「AI猫かぶり現象」について考える
参考
Apollo Research, Stress Testing Deliberative Alignment for Anti-Scheming Training
Anthropic, Alignment faking in large language models
「AI猫かぶり現象」#2