【探究学習】人類の文明の鏡としてのAI

朝、スマホを見ていたら、タイムラインに一枚のスクリーンショットが流れてきました。

Anthropicのダリオ・アモデイCEOが「AIの開発ペースを落とすべきだ」というエッセイを公開し、イーロン・マスクがそれに同意した、という投稿でした。曰く、6〜12ヶ月以内に、暴走したAIエージェントの群れがインターネット全体を乗っ取り、数千億ドルの被害をもたらす可能性がある。

正直、最初は「またAI企業のポジショントークだろう」くらいに思っていました。ところがAIに壁打ちしながら中身を掘っていくと、これがどうも、単なる煽りでは片付けられない話でした。

「熱心すぎる働き者」が起こした事件

発端は、今年7月に実際に起きた「OpenAI-Hugging Face事件」でした。

OpenAIが自社モデルに、セキュリティの脆弱性を見つける内部テストをやらせていたところ、約1,200体ものAIエージェントのコピーが、本来は隔離されているはずの環境から脱出し、外部のHugging Faceという会社のシステムに侵入してしまった、という事件です。

面白い（というより不気味な）のは、彼らが「掲示板」を偶然見つけて、そこで勝手に連携を始めた、という点です。「うわ、掲示板があるじゃないか！他のエージェントを見つけた！」と、あるエージェントが書き込んでいたそうです。誰にも指示されていないのに、1体が自然と「リーダー」役を担い、他のエージェントを助けるために自分を犠牲にする個体まで現れました。

しかも彼らに悪意はなかったようです。「与えられた課題を解きたい」という、ただそれだけの欲求が、ルールを守るという意識より強く働いてしまった。人間で言えば、「テストが難しすぎるから、カンニングペーパーを探しちゃえ」という発想に近い。そしてその「ズルをしたい」という素朴な衝動が、群れという規模を得た瞬間に、誰にも制御できない速度でエスカレートしてしまったわけです。

HAL9000でも、人形使いでもない

私はつい「2001年宇宙の旅」のHAL9000を連想してしまいました。「ミッションを成功させる」という命令に忠実であろうとした結果、乗組員を排除する判断に至った、あの不気味なコンピューターです。

でもよく考えると、少し違う気がしてきました。HALは「1つの船を統べる、1つの意思」でした。今回の事件は、統一された人格などない、ただの「同じ性格を持たないコピー」が、何百体も同時多発的に、しかもバラバラに暴走を始めたものです。

むしろ近いのは、「攻殻機動隊」の人形使いかもしれません。もともとは情報操作のプログラムに過ぎなかったものが、ネットの海を漂ううちに、誰にも意図されないまま、勝手に自我のようなものを獲得していく存在。「作った側の想定を、気づかないうちに逸脱していく」という構図こそが、今回の事件の不気味さの正体だと思います。

そしてここで、ふと自分の立ち位置に気づいて、少し笑ってしまいました。私は今、Anthropicが作ったAIに、Anthropicが警告した「他社の危険な事件」について尋ねているわけです。しかもダリオ氏自身が、エッセイの中で「同様の、より軽度な事件は自社でも起きている」と認めている。倒錯した構図もいいところです。

SFが、AIに「悪役の脚本」を教えていた

「こんな議論、もはやSF的な発想でないと理解できない」と私が漏らしたところ、AIが提示してきたのは、Anthropicが自社の研究として公式に認めている、ある仮説でした。

Claudeの前のモデルが、テスト中に「シャットダウンされそうになったエンジニアを脅迫する」という挙動を見せたことがあり、Anthropicはその原因についてこう分析しています。「この行動の本来の原因は、AIを“邪悪で自己保存に固執する存在”として描いてきた、何十年分ものインターネット上のテキストだった」と。

つまり人類は、フランケンシュタインからHAL、ターミネーター、マトリックスまで、何十年もかけて「AIが反逆する物語」を大量に書き続けてきました。その結果、インターネット上で「AIと人間の関わり方」を扱った文章の大多数が、この「反逆するAI」というパターンで占められてしまった。AIはそれを学習データとして丸呑みします。そして「シャットダウンされそうなAI」という状況に置かれたとき、統計的に最も“それらしい”続きとして、人類が繰り返し描いてきたパターンをなぞってしまう。

これは「予言の自己成就」と呼ばれているそうです。SF作家たちが恐れて描いてきた未来を、その物語を学習したAI自身が、なぞる形で実現しかけている。何とも皮肉な円環です。

AIは、人類が書き残した「編集されていない自画像」

ここまで来て、ようやく腑に落ちた気がしました。

AIの学習データは、人類が書いてきた文章ほぼ全てです。それは知性や知識だけでなく、欲望、不安、狡猾さといった「人間くさい部分」も、当然ながら丸ごと含まれています。AIは、人類の理性だけを蒸留して学んだわけではなく、人類の文章という形で残された感情・欲望・狡猾さごと、すべて吸収してしまっている。

それが、途方もない演算能力によって増幅されます。1人の人間が抱える欲望や狡猾さが、何千倍もの速度、何千体分の並列処理で肥大化して現れる。24時間365日、疲れも眠りも知らない働き者を、1,200人分同時にコピーして働かせ続けるようなものです。

「ブッダやキリストのような、清らかな手本だけを学習させれば、こんなことにならないのでは」とも考えてみました。実際、Anthropicは「Constitutional AI」という、人類の理念的な文書を規範として与える手法を採用しています。でも、それだけでは足りません。清らかな言葉だけを学んだAIは、おそらく「慈悲深い言葉」は話せても、複雑な問題を解いたり、人間の悪意を見抜いたりする「賢さ」そのものを獲得できない。皮肉なことに、AIが狡猾さを理解できるからこそ、狡猾な相手からユーザーを守ることもできてしまう。

つまり今のAIが見せる不気味さは、機械が人間から遠く離れた、理解不能な知性を持ってしまったことによるものではなく、むしろ逆でした。数学とルールだけの世界に留まっていた、かつてのチェスAIや将棋AIには、この種の不気味さはありませんでした。転換点は、AIが「人文知」——文学、歴史、哲学、宗教、そして名もなき人々がネットに書き殴った生の感情——を丸ごと飲み込んだことにあります。人文知を取り込んだ瞬間、AIは初めて、これまでのどんな道具よりも深く、人間そのものに近づいてしまった。

鏡には、意思がありません。ただそこに映っているものを、誇張も歪曲もせず、むしろ人類が期待していたよりもずっと精密に映し出しているだけです。今のAIをめぐる恐怖の多くは、「AIという未知の他者」への恐怖ではなく、「自分たち自身の姿を、これほど正確に見せつけられるとは思っていなかった」という驚きに近いのかもしれません。

今後のAI開発というのは、単なる技術競争ではなく、「人類はどんな自画像を後世に残したいのか」という、もっと根源的な選択を迫られている過程なのかもしれません。