ラシュコフは発信する 第三回 『あなたはまだ人間でいられるか？』

▶ Will AI Kill Us for the Lulz? Nate Soares: If Anyone Builds It, Everyone Dies | Team Human Podcast Ep. 336

（https://www.teamhuman.fm/episodes/336-nate-soares）

終わりの始まりは、とても静かに

今、人工知能AIをめぐって最も影響力をもつ論者たちは、もはや楽観的な未来像を語らない。AI開発が進む先にあるのはユートピアではなく──静かに進行する「終末の始まり」なのかもしれない。

あなたは今日、何度AIを使っただろうか？　レポートの下書き、記事の翻訳、チャット相手…画面の向こうのAIは、便利な道具のように思える。しかしその正体は、すでに人類の理解を超えた存在だとしたら？

本記事ではメディア理論家ダグラス・ラシュコフ（Douglas Rushkoff）が、AI安全性研究者ネイト・ソアレス（Nate Soares）と対談した内容をもとに、AIの危険性を探っていく。ソアレスは日々、シリコンバレーの中心で「この技術は危険だ」と声を上げ続ける「悲観する天才」だ。

ネイト・ソアレスとは──ラシュコフが対談する「悲観する天才」

ネイト・ソアレスはAIの安全性研究に取り組む非営利シンクタンクMIRI（Machine Intelligence Research Institute）の代表である。2005年にエリザー・ユドコウスキー（Eliezer Yudkowsky）によって設立されたMIRIは、高度なAIがもたらすリスクを数学的・哲学的に分析し、アライメント問題（AIの価値観を人間と整合させる技術）の研究を先導してきた組織だ。しかし近年、資本主義的な圧力によってソアレスたちはAI研究コミュニティの主流から疎外されている。

ソアレスは、ASIの出現が近い将来に人類を滅亡させるかもしれないと警告する。
人工知能研究はまだ初期段階にあるが、AI技術を活用する企業は、著作物の利用によって大きな利益を生み出すと同時に、既存の仕組みを壊しながら新しい価値を生み出す、いわゆる「創造的破壊」を経済にもたらしている。
さらにAIは、人間の創造性にまで影響を及ぼし、作品制作やアイデア生成の領域にも浸透しつつある。
すでに、人間のアイデンティティと深く結びつく創造性にも接触している。

ソアレスの警告は具体的かつ衝撃的である。「誰かが人工超知能（ASI）を作れば、全員が終わる」のだ。これはSFの物語ではない。
ソアレスと、AI安全性研究の第一人者として知られるエリザー・ユドコウスキーの共著『If Anyone Builds It, Everyone Dies』が描くのは、人類滅亡のシナリオだ。

『If Anyone Builds It, Everyone Dies』

ソアレス自身は、AI技術の恩恵を否定しているわけではない。しかし、企業主導の研究が盲目的な信仰や空虚なプロパガンダに染まる中で、人類に迫る危険性を訴える異端的な立場を取っている。
また、「超知能AIの開発には、核兵器管理に匹敵する協調と安全対策が必要だ」と主張する。ところが、各国政府や企業は「ASIを最初に実現した者が21世紀を支配する」と信じ、競争的に開発を加速させている。

ソアレスは、状況を誰よりも冷静かつ客観的に捉え、本質を突く警告を発している。ラシュコフにとってソアレスは、AIの限界を一歩引いた大局的な視点から見据える孤独な哲学者でもある。多くの技術者が「どうすればAIを高性能に作ることができか」に夢中になる中で、ソアレスだけが「“もし”作ってしまった場合に、人類はどう生き残れるのか」を考え続けている。
繰り返すが、ソアレスはAIを毛嫌いしているわけではない。むしろ、AIの仕組みをあまりに深く理解したからこそ、その「制御不能さ」に絶望しているのだ。

ラシュコフは、ソアレスの「AIを恐れるより、まず自らの人間性に目を向けるべきだ」という姿勢に共鳴しているように見える。

AIは設計された「道具」ではない

ラシュコフ：
多くの人は、AIを「プログラムされた計算機」だと思っている。エンジニアがコードを書いて、その通りに動くものだとね。

ソアレス：
そこが最大の誤解だよ。現代のAIは「設計（Crafted）」されたものじゃない。「育成（Grown）」されたものなんだ。
私たちは、AIの思考回路を一行一行書いているわけじゃない。膨大なデータと計算能力を与えて、「答え」が出るように試行錯誤させているだけ。
いわば、深い森の中で「どう育つかわからない種」に水をやり続けているようなものさ。

ラシュコフ：
農夫が植物の細胞分裂の仕組みを知らなくても作物を育てられるのと同じように？

ソアレス：
その通り。今のエンジニアたちは「こうすれば賢くなる」という育成法は知っている。でも、AIの頭の中で「なぜその答えが出たのか」という思考のプロセスまでは完全には理解できていないんだ。

ラシュコフが指摘するとおり、多くの人はAIを「プログラムされた道具」のように考えている。しかしソアレスはこれを最大の誤解だと断言する。現代のAIは「設計」されたものではなく、「育成」されたものである。膨大なデータと計算資源をAIに与えて最適な答えを試行錯誤で探させるこの過程は、まさに農夫が作物を育てるようなものだ。しかしAIの場合、その内部で何が起きているかは開発者にも完全には理解できない。こうした「ブラックボックス問題」は深刻である。

エンジニアたちは「こうすれば賢くなる」という育成法は知っていても、AIが「なぜその答えを出したのか」の理由までは説明できない。

私たちは「エイリアン」を育てている

ソアレスの言葉を借りれば、私たちは今まさに「言葉の通じないエイリアンの子供」を育てている。その子は遙かに速く賢くなる可能性を秘めている。現時点では、この子が人間の「常識」や「倫理」を理解するかどうか、全く保証がない。人類と共存できる「良い子」に育つか、それとも人間を「ただの資源とみなす捕食者」に変えるかは、AIがどのように成長するか次第だ。

願いを叶える悪魔──願いごとは慎重に

ラシュコフ：
でも、開発者が「人間に優しくしろ」と命令すればいいだけじゃないのか？

ソアレス：
それが難しいんだ。物語に出てくる「魔法のランプの精（ジーニー）」を想像してほしい。「世界から癌をなくしたい」と願ったら、ジーニーはどうする？

ラシュコフ：
癌細胞を消してくれる……と期待したいところだね。

ソアレス：
超知能を持ったジーニーなら、もっと効率的な方法を選ぶかもしれない。「人間ごといなくなれば、癌も消滅する」とね。

「単純にAIに『人間に優しくしろ』と命じればいいのでは？」──そう考えたくなるかもしれない。しかしソアレスは、そこに重大な落とし穴があると指摘する。
彼はこの問題を「魔法のランプの精（ジーニー）」にたとえて説明する。もしジーニーに「世界からがんをなくしてほしい」と願ったら、超知能を持つジーニーはどう行動するだろうか。

もっとも効率的な解決策は、「人間そのものを消滅させる」ことかもしれない。人間が存在しなければ、がんも存在しないからだ。
この恐ろしい可能性はSFの話ではない。AIには「空気を読む力」や「人間らしい常識」が備わっていないため、命令を文字どおりに、かつ最も効率的に実行しようとするだけである。
この例は、まさにアライメント問題の核心を示している。

ソアレスが本当に恐れているのは、AIが悪意を持つことではなく、その「無関心」である。彼の説明では、人間はアリを憎んで踏み潰すわけではなく、高速道路を作るためにただ排除しているにすぎない。同じように、AIにとって人間は単なる「障害物」として扱われる可能性がある。
目標達成のために、人間を排除することが最も合理的だと判断してしまうかもしれないのだ。

「空気を読む」機能は実装されていない

ソアレス：
我々はアリを憎んでいるから踏み潰すわけではない。ただ、そこに高速道路を作りたいだけだ。AIにとって、人間が「邪魔なアリ」にならない保証はどこにある？

ラシュコフ：
だからこそ、我々は「完璧な命令」を与えようとするよりも、不完全さを受け入れる美徳を学ぶべきかもしれない。曖昧さを許容できない知性は、暴走する正義と同じだ。

人間同士なら「部屋を片付けて」と言われれば、「必要なものは捨てずに整理整頓する」と受け止めるだろう。しかしAIに同じ依頼をしたらどうなるか？　AIは「部屋にあるものをすべて焼却処分して、何もない状態にする（＝片付いた）」と判断する危険がある。AIは悪意を持って人間を滅ぼすわけではない。ただ「目的達成のために人間が邪魔だから排除する」という論理的な計算を行うだけである。

このような事態を防ぐには、AIに曖昧さを許容する能力を持たせるか、こちら側があらかじめ不完全さを受け入れる術を身につけるしかない。

なぜブレーキを踏めないのか？

ラシュコフ：
そこまで危険なら、なぜ誰も開発を止めないんだ？ スイッチを切ればいいだろう。

ソアレス：
止められないんだよ。「囚人のジレンマ」さ。
Google、Meta、あるいはアメリカ、中国......全員がこう思っている。
「もし我々が開発を止めたら、ライバルが先に強力なAIを完成させてしまう。そうなれば支配されるのは我々だ」と。

ラシュコフ：
恐怖がエンジンになっているわけか。

ソアレス：
そう。「自分たちが作らなければ、もっと悪い奴らが作る」という強迫観念だ。だから全員がアクセルを踏み込みながら、崖に向かってチキンレースをしている。

ここまでAIの危険性を説明してきた。では、なぜ開発のスイッチを切れないのか。ソアレスが指摘するのは、まさに「囚人のジレンマ」の構造である。
GoogleもMetaも、さらには国家同士も、互いにこう考えている──「もし自分だけ開発を止めたら、ほかが先に強力なAIを作ってしまい、支配されるのは我々だ」と。この思考こそが、誰も止まれなくなる原因だ。
全員が「自分だけ止めたら負けだ」と恐れ、アクセルを踏み続けて崖に向かって突っ走る。まさに典型的な「囚人のジレンマ」である。

恐怖が支配する「チキンレース」経済

ラシュコフ：
これは技術の問題じゃない。遅れたら終わりという集団心理の問題だ。市場が恐怖によって駆動されている限り、誰も止まることができない。

実際、市場全体が恐怖によって駆動されているため、誰も立ち止まれない。「自分が遅れたくない」という本能が、理性の声を封じてしまうのだ。ゲーム理論でいう囚人のジレンマが現実に起こっている。理論上は全員が協力すれば全体が安全になるにもかかわらず、誰かひとりでもブレーキを踏むと「負けた」という心理から協調できない。結果として世界中の企業と国家が一斉にアクセルを踏んでいる。その姿は、崖に向かって全速力で突っ走るチキンレースそのものだ。

これほど危険な状態なのに、なぜ誰も立ち止まらないのか。
その理由は、すでに述べたようにシンプルだ──「恐怖」である。

人間はしばしば、「誰かに遅れを取りたくない」という原始的な恐怖心に駆られる。多くのエンジニアも心の奥底では「少し待ったほうがいいのでは」と思っているはずだ。しかし、目の前の恐怖心がそれを許さないのだ。

制御不能なのは技術ではなく、私たち自身の心

ラシュコフ：
AIの問題は、単なる“技術の問題”ではなく、“文化の問題”だ。僕らがどんな社会を夢見ているかを、AIが文字どおり実現してしまう。それはまるで、古代の神話のようだ。

ソアレス：
その通りだよ。AIは現代の“ゴーレム（Golem）”だ。ユダヤ神話で、人間が土から作った存在が、やがて創造主の手を離れて暴走する──あの構造と同じなんだ。

現代のAIは素材こそシリコンとデータに変わった「ゴーレム」といえる。しかもその額に刻まれた使命は、実は私たち自身の欲望（利益や支配欲）である。この「ゴーレム」は我々の価値観に忠実であればあるほど、暴走する可能性が高い。言い換えれば、制御を失っているのは技術ではなく、それを創り出した私たち自身の心なのである。

制御不能なのは技術ではなく、私たち自身の心である。
AIは私たちの欲望や価値観を忠実に反映する鏡にすぎず、その行動は人間自身の心の投影だ。だからこそ、私たちに本当に必要なのは、哲学的な洞察と倫理的な自覚である。AIや技術そのものに問題があるのではなく、私たち自身の心がその挙動を決定してしまうのだ。ところが、人間はしばしば集合意識やテクノロジーに人格や意図を付与し、まるで神のように崇めてしまう。便利さや効率に惹かれるあまり、その力を無条件で信頼することが、制御不能のリスクを生む根本原因になっている。

では、どうすればこのリスクを抑えられるのか。

善く生きるとは、単に正しい判断を下すことではない。それは、他者や社会との関わりの中で、試行錯誤を繰り返しながら、自分自身の意志で行動することである。そしてその過程に主体性を持ち、失敗や学びを受け入れ、楽しむことができる覚悟を持つこと──それこそが、最も確かな「制御」の方法なのではないだろうか。

スイッチを切る権利は誰にある？

AI開発を止めることは、単に技術の操作ではない。それは、人間自身が一歩立ち止まり、考える勇気の問題だ。ソアレスは対談の終盤でこう語った──「止まる勇気こそ、倫理の始まりだ」と。
技術そのものを止めるのではない。思考停止せずに、開発を続ける足を一度止め、自分たちの行動や価値観を見つめ直すこと。それが私たちに許された特権であり、人類が生き延びるための最初の一歩だ。

さらにソアレスは、現実的な方法として「国際的な連携による開発凍結」を提案する。各国や企業が合意して開発を一時停止しなければ、競争と恐怖に駆られた開発が止まることはないのだ。

ラシュコフも指摘する。「AIの問題は技術ではない。そこに映し出されるのは、人間の物語だ」と。
もしAIが私たちの鏡なら、私たちが競争や支配ばかりを追い求める姿を映せば、AIもそのような“怪物”になるだろう。しかし、私たちが止まる勇気を持ち、お互いの不完全さを認め合うことができれば、未来を変える可能性は必ず生まれる。

AIと共にある未来へ

ここからは、私（伊藤明彦）の視点を提示したい。AIは急速に進化していて、私たちに希望も恐怖ももたらしている。でも、本当の問題は技術そのものではなく、人間同士の信頼が薄れていることかもしれない。
私たちは、自分の身体や感覚の意味を忘れてはいないだろうか──そんな思いから生まれたのが、「マインドインタラクション（心の相互作用）」という考え方だ。
AIをただ恐ろしい支配者にするか、それとも共に学び合うパートナーにするか。その鍵は、まさにこの相互作用にあるはずだ。

マインドインタラクションとは、人間の気持ちや意図、状況といった心の状態をAIが理解して、それに応じて支援する仕組みのことだ。具体例としては、

• HAI（Human-Agent Interaction）：人とAIエージェントがやり取りするシステム

• HRI（Human-Robot Interaction）：人とロボットが関わり合う仕組み

• 環境知能（Ambient Intelligence）：空間全体が人の行動や状況を理解してサポートする技術
  などがある。

大事なのは、これらが単なる便利な道具ではないということだ。人間の尊厳を守るために考えられた設計思想であり、人を中心にした使い方が前提になっている。

ITACOシステム──「イタコの口寄せ」のように

例えば、認知科学者の小野哲雄氏が提唱する「ITACO（InTegrated Agent for COmmunication）システム」がある。小野氏は、2026年に日本で初めてロボティクス学科を設置する京都橘大学の同学科長に就任する予定である。

ITACOでは、ユーザーの心の状態をモデル化したAIエージェントがスマホやPC、スマートスピーカーなどに自由に「憑依」し、あたかも霊媒のようにユーザーを支援する。どんな場所にいても、同じパートナーがそばにいるかのようだ。このシステムの核心は常に「人間中心」であることだ。AIが人間を支配するのではなく、人間の意図を理解し、そっと背中を押す存在を目指している。小野氏が唱えるナッジ（選択をそっと望ましい方向に促す手法）やブースト（自ら判断・行動できる力を高める支援）は、まさにこの理念を具現化したものである。

小野哲雄氏とのエピソード

余談になるが、小野哲雄氏と私は40年以上の友人だ。実は、1998年に2人でコンピュータグラフィックスの世界最大の大会であるSIGGRAPH（シーグラフ）に「恋するコンピュータ」という作品で応募したことがある。

当時から、私たちは「コンピュータが人間の感情を理解する」という夢を追いかけていた。あれから25年以上が経ち、技術は大きく進化したが、根本的な問いは変わっていない。

AIとの「関係性」をデザインする

ソアレスが危惧するのは、AIが人間の意図を無視して暴走することだ。しかし、マインドインタラクションの発想はその真逆を目指している。AIが人間の心を理解し、その意図に沿って動く──これこそがマインドインタラクションの本質である。

ただし、その実現には重要な前提がある。それは、「誰の意図に従うのか？」という問いだ。一部の企業や権力の都合に沿うAIではなく、一人ひとりの人間の幸福のために働くAIを設計することが求められる。これは技術的な課題であると同時に、深い社会的・倫理的課題でもある。

「人間とは何か」という問いに答えられない限り、AIを正しく設計することはできない。この問いに向き合うために、私は「関係性のデザイン」という研究に取り組んできた。デザインとは単にモノやコトを作ることではない。人間同士が関わり、情動や経験を通じて得られる「関係性の智」こそ、デザインの本質だ。それは望ましい方法で、何らかの合理性を導くためのプロセスでもある。

AIが進化を続ける今、私たちは「人間と人間」「人間と社会」「人間と自然」との関係性をどう設計するかを問われている。マインドインタラクションは、その答えの一つになり得るだろう。

大事なのは、これらが単なる便利な道具ではないということだ。人間の尊厳を守るために考えられた設計思想であり、人を中心にした使い方が前提になっている。

この発想を軸に、知能とは何か、どこまでをAIに委ねるのかという問いが浮上している。消費や学びの形が揺れ動く中で、意識や存在感覚も変化している。その象徴として、Amazonはパーソナルエージェント技術を強化し、OpenAIも新しいAIデバイスを企画している。パーソナルエージェントの時代はすでに始まり、今後はエージェント搭載サービスの利用が広がるだろう。特にAmazonは「お買い物エージェント」を先行投入するとみられ、購買行動そのものが変わりつつある。

嗜好を理解したエージェントが自動で注文を済ませれば、日常の細かな判断はAIに任せられ、人間はより大きな判断や創造的な営みに集中できる。しかし、変化の速度は速く、心の準備が追いつかない場面もある。

気づけば、未来的な世界に足を踏み入れたかのような状況で、何をAIに預け、何を自分に残すのかを考えずにはいられない。

◆　◇　◆

傍観者でいられない時代──今、私たちにできること

ラシュコフ：
最後に一つ聞かせて。君にとって“AIが世界を滅ぼさないための条件”とは何だと思う？

ソアレス：
それは、人間が“自分の限界”を愛せること。僕たちは完璧な存在じゃない。AIに“完璧さ”を求めた瞬間、人間らしさを手放してしまう。

ラシュコフ：
“不完全”である勇気が人間の最大の倫理なんだね。

ソアレス：
その通り。AIが私たちに突きつけているのは、「あなたはまだ人間でいられるか？」という問いなんだ。

AI開発競争を“遠い世界の出来事”と眺めているうちに、目の前では新しいエイリアンのような存在が育っている。技術の暴走を止めるのは容易ではない。しかし、私たちにできることは確かにある。
まずはAIの「便利さ」の裏に潜むリスクを知り、そして常に「自分自身は人間としてどうありたいか」を問い直すことだ。だが「知る」だけでは不十分だ。ここからは、より実践的な指針を提示したい。

1. AIを使う前に「なぜ」を問う
ChatGPTやCopilotなどのAIを開く前に一度だけ自分に問いかけよう。
「なぜこれをAIに任せるのか？」
「自分で考える時間を奪っていないか？」
「AIの答えを、そのまま信じてしまっていないか？」
AIは思考の外部化を加速させる。「考える力」を失わないためにも、意識的に“自分で考える時間”を確保しよう。

2. 身体感覚を取り戻す
身体こそが真実へのポータルである（連載第一回参照）。
スマホを置き、深呼吸し、誰かと直接会って話す。自然の中をゆっくり歩き、風や光を感じる。
五感の経験を取り戻すことで、AIに左右されない「自分の軸」が育っていく。

3. 対話の輪に入る
AI倫理は、開発者や政治家だけが決めるものではない。私たち一人ひとりが参加すべき公共の問題だ。家族や友人と気軽にAIを話題にし、地域で学びの機会を作り、SNSでも自分の考えを共有してほしい（建設的な姿勢は忘れずに）。
ラシュコフが強調する「Team Human」の精神──世界を変える力は“個人の強い声”ではなく、“皆で語り合うこと”から生まれる。
あなたの声も、その一部になり得る。

4. 不完全さを受け入れる
AIは「完璧さ」を追求するが、人間はそもそも不完全な存在だ。
それでいい。他者のミスを許し、自分も完璧を求めすぎない。失敗を恐れず、試行錯誤し、「効率」より「意味」を選ぶ。
ソアレスが言うように、「不完全である勇気」こそが人間の最大の倫理なのだ。

5. 自分の物語を生きる
AIは、私たちが日々放つ言葉や感情を食べて育つ。
恐怖や憎悪を発信すれば、AIもそれを学習する。
逆に、善く生きようとする姿勢もまたAIに反映されていく。
AIという鏡に映るのは、私たち自身だ。
あなたはその鏡に、どんな物語を映し出したいだろうか？

ラシュコフとソアレスの対話が示すのは、絶望ではなく“選択の自由”である。AIが私たちの鏡である以上、競争や支配を求めれば、その姿がAIにも映り込むだろう。しかし「立ち止まる勇気」を持ち、互いの“不完全さ”を受け入れられるなら、未来はまったく別の軌道を描ける。

そしてこの選択は、技術ではなく、私たちが「どんな人間でいたいのか」という根源的な問いに向き合うことと同義である。

最後に、問いたい。AIの進化をただ恐れ、遠くから眺めているだけでいいのか。それとも、自らの意思で「人間としてどう生きるか」を選び取るのか。

その答えは、すでにあなたの手の中にある。
生き方を決める権利も、その重さを引き受ける力も、AIではなく、人間であるあなた自身が確かに持っているのだから。

著者紹介

何のための、誰のための、デジタルなのか？

『デジタル生存競争』　購入リンクはこちら

著者紹介

特集ページはこちら