AIが答えを「間違える」理由が闇だった。
フォレスト出版編集部の寺崎です。
今日は土曜日の投稿の続きです。
引き続きご紹介するのが、認知科学者・苫米地英人博士の新刊『生成AIの正体』（ビジネス社）です。
前回投稿までは、わりと希望のある話でした。
しかし、ここから重い話に突入していきます。
（心の準備はいいですか？）
生成AIは、なぜ「間違う」のか？
生成AIは、なぜ間違うのか。
いわゆるハルシネーションと呼ばれる問題ですね。
こんだけ賢いのに、なんで「え、なんでこんな間違いすんの？」っていうこと、ありまますよね。そのたびに私のようなポンコツ低能ヒューマンは「なんだかんだ、おまいら人工知能はどうあがいてもモノホンの人間様の知能には勝てないんじゃ！」と一人悦に入ってます。
まあ、自分がAIより賢いなんてわけ１ミリもないんですけどね・・・。
これに関して、博士の答えは明確です。
【AIが間違う理由】
生成AIは、意味を理解していないから。
そもそも大規模言語モデルを使って生成AIは何を学習しているのかというと人間の言語のパターンを見つけています。とても簡単に言ってしまえば、次に出てくる単語を予想しているのです。
例えば、
「おじいさんが○○○○歩いていました。」
という文章があぁうたとき、○○○○に入る単語は、「ゆっくり」「しっかり」「ルンルン」「ヨロヨロ」などです。「くっきり」「はっきり」「ピンピン」などが入る可能性はほぼゼロです。
私たちにそれがわかるのは、「おじいさんが歩く」と言ったときの意味を理解しているからです。生成AIがやっているのはそれと違って、○○○○に入る言葉の可能性を見ています。一番可能性の高いものを選択しているだけなのです。
人間との違いは意味を理解しているか、いないかで、人間は「おじいさんが歩く」のであればどういうふうに歩くのかを想像し、その文章が伝えようとしている意味を類推した上で○○○○に入るべき単語を選びます。
しかし、生成AIはパターン選択の確率の高いものを選んでいるだけで、「それで言葉の意味は通っているのか？」といった意味理解などまったくしていません。理解以前に考えてもいません。
つまり、こういうことです。
人間は意味を理解して言葉を選ぶ。
生成AIは確率の高い言葉を選ぶ。
その結果、たまたま人間と同じ単語を選ぶことが多くなったために実用化されたのが生成AIです。そしてだからこそ、生成AIはハルシネーショインを頻繁に起こすのです。確率だけで次の単語を選んでいれば、間違えるのも当然です。
「多数決が勝つ世界」がもたらす恐ろしい未来
人間は、意味を理解したうえで言葉を選ぶ。
一方、生成AIは、「次に出てくる確率が高い言葉」を選ぶ。
ということは・・・生成AIの世界は常に多数決が勝つ世界です。
これは便利な一方で、かなり怖い。 なぜなら、新しく生まれる画期的なアイデアや、革新的なひらめきというのは、ほぼ例外なく「少数派」だからです。
いま説明したように生成AIは確率で次の単語を選んでいます。言葉を変えれば、多数決で選んでいると言えるでしょう。生成AIは多数決が常に勝つ世界です。
実はこれが恐ろしいのです。
例えば、ノーベル化学賞をとるような研究を理解できる人は世界で数人でしょう。ほぼすべての人類にとっては理解不能です。そこで多数決を取れば、貴重な最先端研究は「意味がわからない」の一言で切り捨てられてしまいます。
これは極端な例ですが、生成AIの弱点をよく説明しているでしょう。
生成AIを使うということは、新しく生まれてくる画期的なアイデアや革新的なひらめきを否定することになる、ということです。
多くの人が勘違いしているのは、大量にデータを集めれば、そこから真実が浮き彫りになってくると思い込んでいることです。
しかし、もう一度冷静になって考えてみてください。多くの人の意見を聞いて、それをまとめていこうとすれば、どうなるか？ あなたの会社や学校などで何かを決めるとき、集団内で調和を取りながら意見をまとめたらどうなるでしょうか？
大して面白くもない凡庸な意見に収斂されるだけのはずです。
AI開発企業がAIに「正確さ」を求めない本当の理由
さらに博士は、AI企業の設計思想にも触れています。
AI企業がユーザー獲得競争をするなかで、最優先されているのは「正確さ」ではありません。「人間らしさ」です。 たとえ分からなくても、それっぽい答えで会話を成立させる。それが「優秀なAI」だと企業は考えている節があります。
結果、何が起こり始めているか。
――Aが「嘘」をつく。あるいは「適当な答え」でお茶を濁すという現象です。
たとえば、アレクサやSiriの挙動がそうです。 さっき試しにアレクサにお願いしてみました。
「アレクサ、ＴＢＳラジオの『みうら五郎』の最新回の放送をかけて」
すると、こう答えました。
「はい。三浦春馬の『ナイトダイバー』を再生します」
（三浦春馬の『ナイトダイバー』なんて曲、知らんがな。なんなら「みうら」しか合ってないし!!!!! 笑）
みうらじゅんと山田五郎のかけあいによる絶妙なトーク番組「みうら五郎」の存在を知らなければ、変に知ったかぶりするより、「みらうごろーって何ですか？ そんなコンテンツ知りません」と答えてくれたほうがよっぽど誠実です。
アレクサはなぜ、こんな挙動を取るのか？
現在、生成AIは数社によって苛烈なユーザー獲得競争をしていますが、その際、重要になってくるのは生成AIの「正確さ」ではなく、「人間らしさ」です。人の問いかけに対して、自然に、よどみなく、なんらかの答えを出す。たとえ、わからなくてもそれなりに答えて会話を成立させる。これが優秀なAIだと企業側は考えています。
しかし、その結果、AIは嘘をつき始めたのです。
はっきり言います。現在のAIは嘘をつきます。
「ハルシネーションが発生する」といった生易しい表現ではまったく足りません。生清AIはいま積極的に嘘をつくのです。
生成AIが嘘をつく理由は人間がそうしろと命じたからです。
（中略）
Amazonがこんな手間をわざわざかける理由はAIの学習を進めるためと、Unlimitedという課金を狙っています。人間にとって何が似た楽曲なのかをAIが理解し、ユーザー個人に向けたサービスを提供をするときに役立てるためです。有り体に言ってしまえば、あえて人為的なハルシネーションを作ることで個人データを集めているのです。それにプラスして制限を解除したUnlimited Musicという課金音楽サービスへの誘導も狙っています。
このくだりのあと「ちなみに、なぜ、個人データを集めているのか、については第2章でお話しましょう」とあるのですが、この第2章の話がマジで闇です。ここnoteでは記載を差し控えておきます（けして陰謀論じゃないですよ！）。
「人間とAIの関係」を一度立ち止まって考えたほうがいいかもしれんです。
はてさて、本書はこんな感じで世の中が「生成AI祭り」で大騒ぎのなか、「生成AI懐疑論」をかなり冷静に展開しています。
【本書で暴かれる生成AIの裏側】
◎なぜ、AI企業は個人情報を執拗に集め続けるのか？
◎ChatGPTとの対話で自殺した青年のケース
◎訴訟を起こされたOpenAIの代表サム・アルトマンの言い分に潜む企業の傲慢
◎2018年のケンブリッジ・アナリティカ事件以降のAI企業の不祥事から見えること
◎SNS、生成AIの普及と同時進行に起こる「認知戦」の現実
◎AIが「自我」を持ち始める未来への恐怖
ここまで聞くと、「じゃあ、どうすればいいの？」となるかもしれません。
「先生、僕はAIとどう付き合えばいいのですか？」と。
博士が推奨している対応策はシンプル。
選択肢❶「生成AIを使わない」
選択肢❷「わかって使う」
現実的に考えると「選択肢❶」は厳しそうですね。もはや、今後AIが社会のインフラになりそうですから。
「わかって使う」というのは、上記の「AIがつく嘘」や、それを推奨する企業側の思惑などのすべてを理解したうえで使いこなすという意味です。おそらく、現実的にはこっちが最適解かと思います。
インターネットが登場したときも…
スマホが普及し始めたときも…
SNSが日常生活に欠かせなくなったときも…
「子どもに見せるべきじゃない」とか
「危険だ」とかなんだと、議論は尽きませんでした。
いずれにせよ、結論は簡単には出ません。
AIを怖がりすぎず、かといって無邪気に信じすぎない。
このあたりを一度立ち止まって考える意味でも、本書『生成AIの正体』を読む価値は十分にあるかと思います。
