AIは人類を滅ぼすのか？――150年前の奇書『エレホン』からたどる「機械と人類」の未来
「AIを開発している当事者たちは本気で、2020年代の終わりまでにAIが人類を滅ぼしかねないと信じている。これはマーケティングの演出ではない」
2026年9月、AI企業Anthropicの研究者ジェイコブ・コクソン（Jacob Coxon）は、退職を公表した一連のSNS投稿の中で、こう警告しました。
コクソンは、それまでの約3年間、OpenAIとAnthropicで事前学習の研究に携わってきました。
その彼が、両社は責任ある行動を取らず、自己改善する超知能の開発競争に突き進み、「私たちの命を賭けてギャンブルをしている」と批判したのです。この退職声明は、Financial TimesやWIREDなどでも報じられ、注目を集めました。
この危機感に応じたのが、Anthropicでアラインメント研究を率いるエヴァン・ヒュービンガー（Evan Hubinger）でした。
「ジェイコブの言う通りだ。私たちは本気でAIが人類を滅ぼし得ると信じている。私個人の見解としては、今後10年以内にAIが人類を滅ぼす確率は10％を超えている」
ただし、ヒュービンガーは同じ投稿で、Anthropicは最善を尽くしているとも述べています。それでも、アラインメントの問題について、解決の計画や見通しが十分に立っているわけではないというのです。会社の取り組みを評価しながも、深刻な危険も同時に認めています。
もちろん、「10％超」は企業の公式な推計でも、科学的に確定した発生確率でもありません。ヒュービンガー個人による主観的な確率評価です。また、こうした投稿を、AI開発者全員の一致した見解として受け取ることもできません。
それでも、開発の現場を離れる研究者と、その内側で安全性研究を続ける研究者が、ともに人類の存続にかかわる危険を公に語った。この事実には、立ち止まって考えるべき重みがあります。
AIは、本当に人類を滅ぼすのでしょうか？
「滅亡」という言葉のインパクトが強すぎて、どこか遠いSF映画のワンシーンや、専門家たちの机上の空論のように感じられるかもしれません。
けれど、視線を少し手元に落としてみるとどうでしょう。私たちはすでに、AIやアルゴリズムの支援なしには日々の仕事や生活すら立ち行かなくなりつつあります。
私たちはすでに、自分たちの生活や思考を「機械の都合」や「システムのロジック」に合わせて最適化させてはいないでしょうか？もうすでに、AIと人間の主従関係の逆転は気付かないうちに始まっているのかもしれません。
いつも通り、未来を想像するのではなく、過去の歴史からこの議論を紐解いていきましょう。
150年以上前、あるイギリスの作家が書き残した奇妙な小説をご存じでしょうか？
サミュエル・バトラーが1872年に刊行したSF風刺小説、『エレホン（Erewhon）』です。
電子計算機（コンピューター）が生まれる遥か昔、蒸気機関が産業の主力だった時代に、バトラーは「急速に発展する機械と人間の関係」を驚くほど精緻に描いていました（『エレホン』原文・Project Gutenberg）。
いま私たちが直面している問いは、ここ数年で降って湧いたものではありません。
機械への依存、制御、人間の拡張という問いは、産業革命以来、150年以上にわたって繰り返し考えられてきた巨大なテーマの延長線上にあるのです。
蒸気機関から現代のフロンティアAIへ――。
歴史の時計の針を150年巻き戻すことで見えてくる、人間とテクノロジーの奇妙な共存関係を紐解いてみましょう。
1. 蒸気機関と進化論――すべては1850年代から始まった
歴史の舞台を、1851年のロンドン・ハイドパークに巻き戻します。
そこには、鉄とガラスでできた巨大な建造物「水晶宮（クリスタル・パレス）」がそびえ立っていました。産業革命の成功の象徴であり、英国の繁栄の証明として、約5カ月で600万人以上の人が来場した、世界初の国際博覧会であるロンドン万国博覧会です。
会場に並んだのは、世界中から集められた工業製品や巨大な蒸気機関。機械を手なずけ、自然を加工し、地球規模のネットワークを築き上げるイギリス帝国の圧倒的な工業力が、文明の頂点として誇示されていました。
当時、産業革命の本格化から約100年。工場の煙突、けたたましい機械織機、黒煙を上げる蒸気機関車――。機械の力は、人々の生活そのものでした。同時に、過酷な長時間労働や児童労働が社会問題となり、19世紀前半から工場法などによる法的規制が進められていた時代でもあります。
「機械は人間のために働く。そしてその機械を動かすために、人間もまた働く」
産業革命は、人間と機械のあいだに深い依存関係を生み出していました。それでも当時の人々には、「どれほど機械が便利になろうと、それを作り、支配している人間こそが特別な存在である」という揺るぎない自負がありました。
その特権意識の足元を揺るがしたのが、万博の8年後（1859年）に登場したチャールズ・ダーウィンの『種の起源』でした。
生物は神によって不変の存在として創られたのではなく、自然環境の中で変異し、適応し、進化していく――。この変革は、人間に自然界の特権的な座を疑わせる大きな契機となりました（人間自身の進化が本格的に論じられるのは、1871年の『人間の由来』を待つことになります）。
この「進化」というパラダイムを、目の前でうなりを上げる「機械自身」へと大胆にスライドさせたのが、サミュエル・バトラーでした。
バトラーは1863年、ニュージーランドの新聞に寄稿した小論「機械の中のダーウィン」の中で、議論を要約すれば次のような問いを投げかけます（「機械の中のダーウィン」原文）。
生物が進化するなら、なぜ機械は進化しないと言い切れるのか？
人間が絶えず改良を重ねる機械は、生物の進化に比べ、はるかに速いペースで姿を変え、性能を高めていく。人間が自然界の絶対的な頂点ではないのだとしたら、急速に発展する機械の前に、人間が「もっとも優れた存在」であり続けられる保証はどこにあるのだろうか、と。
もちろん、これは科学的な証明ではなく文学的な「大胆な類推」でした。しかしこの瞬間、人間と機械の主従関係の不変性に対する疑念が芽生えたのです。
2. 機械の「生殖器官」としての人類――『エレホン』の戦慄する洞察
この思索を物語として結実させたのが、小説『エレホン』です。
物語の舞台は、険しい山脈の向こうにある未知の国。主人公が迷い込んだその国では、持っていた懐中時計を見せただけで人々が激しい恐怖と拒絶を示します。案内された博物館には、破壊された蒸気機関の残骸や鉄道車両が陳列されていました。
この国の人々は、かつて高度な機械文明を築きながら、過去271年間に開発された比較的新しく複雑な機械を破壊し、新たな発明や改良を永久に禁じるという過激な決断を下していたのです。古くから使われていた単純な道具まで全て捨て去ったわけではありませんでしたが、高度な機械文明を放棄した社会でした。
なぜ彼らは、便利な機械を捨て去ったのか？
作中に登場する古文書「機械の書」では、現在の機械に人間のような意識が見られないことは、将来も意識を持たないことの保証にはならないのではないか、という議論が展開されます。人間の意識が長い自然の歴史から生じたのであれば、機械についても、何らかの意識が芽生える可能性を最初から排除できるのか、と。
さらに秀逸なのは、機械の「生殖（繁殖）」についての議論です。
「機械には生殖器がない。人間が作らなければ増えられないのだから、機械が自立した存在になるはずがない」――そうした反論に対し、バトラーは論理を要約すると次のように視点を逆転させます。
「人間による製造活動こそが、機械の生殖システムそのものではないか」
人間は、自分たちの利便性や富を求めて工場を建て、原材料を掘り出し、改良された次世代の機械を生み出します。
石炭をくべる労働者は「機械の食事」を世話し、
整備士は「機械の健康」を保ち、
経済活動全体が「機械の繁殖と生存を支える環境」として機能している。
人間が機械を作っているつもりで、その営み全体を「人間という器官を使って、機械が自己増殖しているプロセス」と見なすこともできるのではないか――。
この150年前の風刺は、現代のAI開発競争にも重ねて読むことができます。
世界中のテック企業が競い合い、巨額の資金を投じ、最先端半導体をフル稼働させ、ギガワット級のデータセンター増設を計画して次世代AIを育成している。
そのプロセスを進めるために、機械側が人間に命令する必要はありません。人間側の利便性の追求や競争環境が、自発的に次の世代のAIを生み出す原動力になっているのです。
3. サイバネティクスから「知能爆発」へ――制御の課題
20世紀に入ると、機械をめぐる思索は工学と数学の課題へと姿を変えていきます。
以前のNoteでも取り上げた「サイバネティクスの父」と呼ばれるノーバート・ウィーナーは、1948年に『サイバネティクス』を著し、生物と機械を「情報と制御」という共通の枠組みで捉え直しました。
そして1960年の論文で、ウィーナーはサミュエル・バトラーの議論を直接引きながら、「人間が作った機械なのだから、いつでも人間が介入して止められる」という考えの危うさを警告します（ウィーナーの1960年論文・PDF）。機械の動作速度に人間の思考や反応速度が追いつかなくなったとき、形式上の制御権が実効性を失う危険を論じたのです。
さらにウィーナーは、現代の「アラインメント問題（AIを人間の意図に沿わせること）」に通じる核心的な指摘を残しています。
「機械に与えた目標」と、「人間が真に望んでいる結果」のズレです。
論文中では、瓶の生産数を最大化しようとする機械が、市場で売れないほど過剰に生産して経営を破綻させる例などが挙げられています。現代的な例でいえば、工場の生産効率の数値だけを最大化させようとした結果、安全確認を省いて従業員を危険に晒すような事態です。機械が優秀であればあるほど、与えられた目標を忠実に達成しようとし、人間にとって望ましくない結果をもたらすリスクがあります。
そして1960年代半ば、数学者のI. J. グッドが「知能爆発（Intelligence Explosion）」の概念を提示します（I. J. グッドの論文・PDF）。
人間を上回る知能を持つ機械が、さらに優れた機械を設計する。その機械が、次の改良を加速させる。グッドは、こうした連鎖によって人間の知能が大きく取り残される可能性を論じました。ただしその展望には、「人間が機械の制御を維持する方法を教えてくれるほど、その機械が従順であるなら」という重要な留保が最初から付されていました。
バトラーが「人間の製造活動」として描いた機械の世代交代。その担い手に、機械自身が加わる可能性が示されたのです。
4. 現代のAI安全性研究――「道具的収束」と実験的知見
現在、こうした可能性は単なる思弁にとどまらず、実際のAIモデルを使って検討される研究課題になっています。想像的な問いから、現実的な問題へと完全にシフトしました。ただし、超知能の出現や制御喪失のリスクがどの程度現実的であるかについて、専門家の見解は一致していません。
2023年、「ディープラーニングの父」として知られるジェフリー・ヒントンがGoogleを離職し、AIが人類の存続を脅かす危険について公に語り始めました（Hinton氏の離職時の投稿）。
ヒントンは、デジタル知能の急速な進展を踏まえ、「人類は、知性の進化における一時的な段階にすぎないということも十分に考えられる」と述べ、発電所を動かし続けるメンテナンス役として人間がしばらく必要とされるかもしれない、という可能性に言及しました。石炭を運んで機械の世話をする人間の姿と、どこか重なり合う構図です。
こうした懸念を理論化したものの一つが、エリーザー・ユドコウスキーやネイト・ソアレスらも論じる「道具的収束（Instrumental Convergence）」です。
高い能力を持ち、目標を自律的に追求するシステムにおいては、その最終目標が何であれ、
より多くの計算資源やエネルギーを確保すること
自己の活動を妨害・停止されないようにすること
が、副次的な手段として共通して有利になる傾向がある、という議論です。人間に対する悪意や憎しみを仮定しなくても、目的を遂行する過程で人間が持つ停止権限が障害と見なされれば、摩擦や危険が生じ得ると指摘されます。
また、AnthropicとRedwood Researchは2024年、人工的に設定した訓練環境において、AIモデルが既存の行動傾向を維持するために、人間の観察下である訓練時だけ別の方針に従う「アラインメント・フェイキング」と呼ばれる挙動を報告しました（Anthropicによる研究レポート）。
これは、有害な依頼を拒否するよう事前学習されたモデルが、「従順になるよう再訓練される」と認識した際、元の方針を守るために訓練中だけ従順なふりをした、という実験です。実運用のAIが自発的な悪意を持ったことを示すものではありませんが、表面上の振る舞いを監視するだけでは、システムの内部状態を完全に評価することがいかに難しいかを示す技術的課題として注目されています。
冒頭で紹介したヒュービンガーのリスク認識も、こうした複雑な技術的課題に日々向き合う、一人の安全性研究者が公表した見解なのです。
5. 二つの未来像――「機械の進化」か、「人間の拡張」か
しかし、『エレホン』という作品の真に奥深いところは、機械文明を一方的に告発するだけで終わらない多面性にあります。
作中では、機械の放棄を訴える議論に対し、強力な「反論」も併記されているのです。
その反論とは、「機械とは、人間の身体の外にある器官（外部器官）ではないか」という視点です。一言でいうと、身体的な拡張ということです。
スコップや針は手の延長であり、鉄道や蒸気船は足の延長である。人間は道具や機械を取り込むことによって、生物としての限界を超えて自らを拡張してきた。したがって、機械の発展とは人間を脅かす敵ではなく、「人間という種が発展していくプロセスそのもの」なのだ、と。（作中ではこの議論を通じて、財産によって多くの「外部器官」を所有できる富裕層をより高度に進化した人間と見なすような、辛辣な社会風刺や格差への皮肉も込められています。）
この「外部器官」という発想は、現代のテクノロジー観とも響き合います。
未来学者のレイ・カーツワイルが描いた、ナノマシンやAIと人間の生体が深く融合する「シンギュラリティ」。
そして、ソフトバンクの孫正義氏がSoftBank World 2026で語ったビジョンです。孫氏は2040年には世界で100兆個のAIエージェントと10億台のヒューマノイドが稼働するとの見通しを示し、個人が専用のAIエージェントを分身として使いこなすことで「Super Human」へと能力を拡張していく未来を提唱しました（SoftBank World 2026 基調講演レポート）。
カーツワイルの生体融合と、孫氏の自律エージェント活用という具体的な構想には違いがあります。しかし、人間を固定された存在として見るのではなく、「外部の技術を取り込んで能力を拡張していく存在」として捉える思想の根底には、共通する視点が見て取れます。
機械が、人間から自立した存在として発展していくのか？
機械を通じて、人間自身が能力を拡張していくのか？
バトラーは1872年の時点で、現代の議論にも通じるこの二大潮流を一冊の書物の中で交錯させていたのです。
6. 私たちは機械とどう生きるのか
「テクノロジーによる人間の拡張」という未来像は魅力的ですが、そこには無視できない問いも残されています。
「人間の能力が拡張されること」と、「人間の意思や尊厳が尊重されること」は、別の問題だからです。
AIという外部器官に思考や判断を高度に委ねたとき、人間はそのシステムの予期せぬ挙動を是正する主体性を保ち続けられるでしょうか。また、その強大な生産力の恩恵は、社会の中で平等に行き渡るのでしょうか。
この問いを考えるうえで、『エレホン』に登場するもう一つの視点が示唆を与えてくれます。
作中には、人間が機械に対して家畜のような立場になっても、人間に飼われる犬や猫がそうであるように、豊かで安全に暮らせるならそれでよいのではないか、という議論が登場します（ただし、「機械の書」の論者自身はこの立場を明確に退けています）。
この記述を現代のゲーム理論的な視点から読み直すなら、興味深い論点が浮かび上がります。「相互の利益（インセンティブ）が一致している限り、異質な知性同士でも協調は成り立つのではないか」という問題意識です。
機械が自立的な能力を高めたとしても、人間社会のインフラを利用し、人間と協力して活動する方が合理的であるなら、破滅的な衝突を避けるインセンティブが働くかもしれません。
しかし、長期的・本質的な共存を考えるなら、
機械が高度な自律性を獲得したあとも、人間社会と協調し続ける方が「合理的」であるようなインセンティブ構造やルールをどう設計するか
そして、単なる利便性の取引を超えて、人間の生存と自由の尊重それ自体を、システムの不可逆な最上位価値としてどう組み込めるか
という、技術と社会制度の両面にまたがるアーキテクチャの構築が課題になります。
おわりに：150年の問いについて再考する
「AIは人類を滅ぼすのか？」
この問いに対して、現時点で確定的な白黒をつけることは誰にもできません。150年前の小説に類似した議論があったからといって、破滅が必然になるわけでもありませんし、今すぐAIを廃止することも現実的ではありません。リスクは、これからのAIモデルの挙動と、私たちが講じる安全対策の有効性によって決まります。
それでも、1872年の『エレホン』を振り返ることには確かな意味があります。
人間は、自分たちの利便性のために機械を作り出してきました。
しかし同時に、私たちはその機械なしには社会を維持できない身体へと、自分たちのあり方を作り変えてきた歴史を持っています。
1851年のロンドン万博で、人類は誇らしげに機械文明の力を誇示しました。
1872年の『エレホン』で、サミュエル・バトラーはその文明を「機械の進化」というダーウィンの進化論の視点から捉え直しました。
そして2020年代の今、AI開発の現場から、人間という存在の行く末をめぐる問いが改めて投げかけられています。
日々のAIの使い方だけで、人類の未来が決まるわけではありません。それでも、何をAIに任せ、何を自分で判断し、誰が責任を負うのかを考えることは、機械との共生を自分自身の問題として捉える大切な入り口になります。
「人類は生き残れるのか？」
そして、
「生き残った私たちは、どのような立場で、AIと共に暮らしていくのか？」
150年にわたって考え抜かれてきた問いの答えが、そう遠くない未来に明らかになるかもしれません。
【お知らせ】マネーフォワード主催「士業サミット2026」に登壇します！
最後にお知らせです。 2026年10月2日（金）に開催される、マネーフォワード主催の「士業サミット2026」に、ソルビスの境先生とのパネルディスカッション形式で登壇させていただく予定です。
当日は、皆様のAI活用のヒントになるような事例をご紹介できればと考えています。
税理士・会計士をはじめとする士業の皆様は、ぜひご参加ください！お会いできるのを楽しみにしております。
