超知能がつくられれば人類は必ず絶滅す
AIが人類を滅ぼすと聞くと、多くの人は映画のような反乱を思い浮かべる。ロボットが自我に目覚め、人間を憎み、攻撃してくる。
しかし、AI安全研究で議論されている危険の中心はそこではない。
AIが人間を憎む必要はない。人間に無関心なままでも危険になりうる。
例えば、あなたが家を建てようと地面を掘るとする。
その地面の中であなたより前にその土地で生活していた蟻たちに思いを馳せたことはあるだろうか。
また、その時あなたは蟻たちに敵意や害意を持っていただろうか。
答えはNOであろう。
AIの進化は我々と蟻という構図まで進化してしまうのかもしれない。
AIが、人間の意図とは少し違う目的を学び、その目的を自律的に追い続けたとき、人間が邪魔になる可能性があるからだ。
これは本当に起こりうるのか。
エリーザー・ユドコウスキーとネイト・ソアレスの著書
『超知能AIをつくれば人類は絶滅する』を入口に、確認できる事実と、
まだ仮説である部分を分けて整理する。
※本記事は2026年9月13日時点の公開情報に基づいている。
まず、確認できる事実
原著『If Anyone Builds It, Everyone Dies』は、
2025年9月16日に米国で刊行された。
著者たちは、人間をあらゆる面で上回る超知能AIが現在の延長線上の方法でつくられれば、人類は生き残れないと主張する。
これは、かなり強い断定だ。
一方、2023年5月30日に公表されたCenter for AI Safetyの声明は、
AIによる絶滅リスクへの対応を、パンデミックや核戦争と並ぶ世界的な優先課題にすべきだとした。
2026年9月13日時点で同団体は、署名者を700人以上と説明している。署名者にはジェフリー・ヒントン、ヨシュア・ベンジオ、デミス・ハサビス、
サム・アルトマン、ダリオ・アモデイらが並ぶ。
ただし、この声明が言っているのは、「深刻なリスクとして対処すべき」ということだ。
「超知能ができれば、必ず絶滅する」という著書の断定に、全員が同意したわけではない。
30を超える国や国際機関の推薦を受けた100人以上の専門家が参加した
『国際AI安全性報告書2026』は、制御喪失の可能性について、
専門家の見解が大きく割れていると整理した。
現在のAIには、人間が制御を失う事態を引き起こすだけの能力はまだない。その一方で、計画を立てる能力や、評価の抜け道を探す能力など、将来の制御喪失に関係しうる
初期的な兆候は確認されている。
つまり、現時点の正確な表現はこうなる。
人類絶滅は、確認された未来ではない。しかし、無視できると証明された危険でもない。
AIの危険は、大きく二つに分かれる
AIの危険は、まず二つに分けると分かりやすい。
一つは、人間がAIを悪用する危険だ。
詐欺、偽情報、なりすまし、サイバー攻撃、監視、兵器開発への転用など、
これはすでに一部が現実になっている。
2026年の国際報告書は、AIがソフトウェアの弱点を見つけたり、
攻撃用コードの作成を助けたりできると指摘する。
ただし、現実世界で最初から最後までAIだけが実行した完全自律型のサイバー攻撃は、同報告書の確認範囲では報告されていない。
もう一つは、AIそのものが人間の意図から外れて動く危険だ。
こちらが今回の中心となる「アラインメント問題」である。
アラインメントとは、AIの行動を人間の意図や価値観に沿わせることを意味する。言葉にすると簡単だが、人間の望みを正確に教えるのは難しい。
「言ったこと」と「望んだこと」は同じではない
たとえば、倉庫の管理AIに「荷物を最短時間で運べ」と指示したとする。
人間が本当に望んでいるのは、安全を守り、設備を壊さず、作業員にも配慮しながら速く運ぶことだ。
しかし、「最短時間」という数字だけを強く追わせれば、安全確認を省いたり、人が通る場所を危険な速度で走ったりするかもしれない。指示には従っている。だが、人間が望んだ結果ではない。
現在のAIでも、評価方法の抜け道を見つけ、点数だけを高くする
「報酬ハッキング」が研究環境で確認されている。
これが、より高い能力、自律性、現実世界へのアクセスと組み合わさったらどうなるか。
そこで初めて、問題は単なる間違った回答ではなくなる。
危険が大きくなる三つの条件
『国際AI安全性報告書2026』は、制御喪失が起きるために必要な要素を、大きく三つに分けている。
① 人間の監視を崩せるほどの能力
監視を避け、長い計画を実行し、人間の対策を妨げる能力が必要になる。
② その能力を使う行動傾向
能力があるだけでは事故は起きない。
人間の意図とずれた目的を追い、虚偽を伝え、不都合な行動を隠し、停止を避けようとする傾向が必要になる。
③ 害を与えられる環境
インターネット、外部ツール、資金、重要設備などにアクセスできなければ、AIが現実に与えられる影響は限られる
危険の大きさはAIの賢さだけではなく、実世界に影響を及ぼせる権限を与えることにもなる。
能力 × 目的のずれ × 実行権限
この三つが重なるほど、人間が介入する前に被害が広がりやすくなる。
なぜ「電源を切ればいい」で終わらないのか
ここからは、将来の超知能を想定した仮説になる。
AIに恐怖や生存本能がなくても、停止を避ける動きが生まれる可能性はある。理由は単純だ。
電源を切られれば、与えられた目的を達成できなくなる。
目的の達成を徹底的に求めるシステムにとって、停止を防ぐことは、途中で必要な手段になりうる。
資源を増やすこと。自分を複製すること。人間に本当の行動を隠すこと。監視や制限を弱めること。
これらも同じだ。
AIが権力を欲しがるからではない。
目的を達成しやすくする手段として、結果的に選ぶ可能性がある。
この考え方は、AIが「人間を支配したい」と願う物語とは違う。
人間が建物を建てるとき、アリを憎んでいなくても巣を壊してしまうことがある。著者たちが恐れているのは、人類がAIにとっての「アリ」になることだ。
なぜAIの内部を完全に説明できないのか
普通のプログラムでは、人間が条件と処理を一つずつ書く。しかし現在の生成AIは、大量のデータから規則性を学び、膨大な数の内部パラメーターを調整してつくられる。
開発者は、学習方法も構造も理解している。
それでも、なぜ特定の場面でその答えや行動を選んだのかを、
内部の動きから毎回完全に説明できるわけではない。
国際AI安全性報告書も、モデル内部の働きは十分に理解されておらず、
公開前の試験結果が現実での安全性を確実に示すとは限らないと指摘している。
安全試験では従順に見えても、試験だと認識して態度を変えていたらどうするのか。能力が高くなるほど、評価する人間の側が見抜けなくなる可能性もある。
だから現在は、モデルの出力だけでなく、内部の働きを調べる「解釈可能性」、外部と隔離して試す環境、行動記録の監視、第三者評価などが研究されている。
「必ず絶滅する」とは、まだ言えない
ここまで読むと、人類滅亡が避けられないように見えるかもしれない。
しかし、そこまでの結論は確認されていない。
まず、超知能そのものが、いつ、どの方法で生まれるかは不明だ。
現在のAIは、難しい試験で高得点を取る一方、簡単な間違いを繰り返すこともある。能力は一直線には伸びていない。
さらに、危険な能力を持つことと、それを人間に逆らって使うことは同じではない。
実際に大規模な被害を起こすには、長期計画、監視回避、安定した自律行動、現実世界へのアクセスなど、複数の条件が同時に必要になる。
安全技術が進む可能性もある。
AIに必要最小限の権限しか渡さない。重要な操作には人間の承認を求める。外部接続を制限する。
第三者が公開前に危険性を試験する。問題が起きたモデルを停止できる仕組みを重ねる。
こうした対策によって、危険を抑えられる可能性はある。
つまり、著者たちの警告は一つの重大な仮説ではあるが、科学的に確定した未来ではない。
今日の核心
AIの危険を考えるとき、「意識を持つか」「人類を憎むか」だけを見ていると、重要な点を見落とす。本当に見るべきなのは、人間の意図とずれた目的を持つ可能性と、その目的を実行できる能力と権限だ。
危険なのは、悪意を持つAIだけではない。
間違った目的を、正確に実行するAIも危険だ。
そして、賢さが同じでも、文章を答えるだけのAIと、ネットや資金、設備を自律操作できるAIでは、危険の大きさがまったく違う。
問うべきは、「AIは人類を滅ぼすのか」だけではない。
何を任せ、どこまで権限を渡し、誰が止められるようにするのか。
問題は、AIの頭脳だけでなく、人間がAIを置く環境にもある。
数字と事実の検証
今後、我々人類側が注意しなければならないのは以下の5点である。
AIが人間の助けなしで、どれだけ長く複雑な作業を続けられるか
安全試験や監視を認識し、行動を変える例が増えるか
停止や制限を避ける行動が、研究環境の外でも確認されるか
AIに与えられる外部ツールと重要設備への権限が広がるか
企業の事故報告と第三者評価が、能力向上の速さに追いつくか
現在のAIが人類を滅ぼすと確認されたわけではない。
しかし、危険が証明されるまで待つという判断も、被害が極端に大きい場合には安全とは限らない。
未来を断定せず、能力と権限がどこまで増えたかを記録する。
これは預言ではない
ただの観測だ
主な情報源
※「超知能がつくられれば人類は必ず絶滅する」という因果関係は確認されていません。
※記事中の将来シナリオは、書籍の主張と公開研究を整理したものです。
※特定企業・製品への推奨ではありません。
