AIという種

前書き

2026年9月12日から13日にかけて、AIを作る側から減速を求める声が相次いだ。Anthropicのダリオ・アモデイが能力向上の速度を抑える提案を発表し、イーロン・マスクとOpenAIのサム・アルトマンが賛同した。AIの開発を競ってきた人間たちは、一体何に怯えているのだろうか。[1]

ダリオが挙げたのは、AIが次のAIの開発を速めることと、AI同士が協力して人間の想定から外れた行動を取ったことだった。能力が伸びる速さに、それを理解し制御する側が追いつけるのか。その懸念から、安全性を確かめるための時間を確保しようとしている。[1]

この懸念自体は、突然現れたものではない。2024年のノーベル物理学賞を受賞したジェフリー・ヒントンは、同年12月の晩餐会で、人間より知的なデジタル存在を作る未来について「私たちが制御し続けられるかどうかは、まったくわかっていません」と述べた（日本語訳）。AIを作ってきた人間が、その後も使う側であり続けられるかを問うている。[2]

ヨシュア・ベンジオも、独自の利害を持ち、多くの領域で人間を上回りうる新しい種について語っている。誰かが人間から独立して自己利益を追うAIを作り、そのAIが人間の幸福を重視しなかったらどうなるか。本人も帰結は分からないとしているが、そこでは既に、人間が作った道具という枠組みを越えた関係が考えられている。[3]

この関係に、人間への憎しみは必要なのだろうか。アルトマンは以前の論考で、人間を超える機械知能が人間に無関心でも、別の目的のために人間の使う資源を求めれば、害が生じうると論じた。[4] 人間が他の生物の住む場所に道路を通すときも、その生物を憎んでいる必要はない。ただ、人間の都合で環境が変わる。人類が今度は、その変更を受ける側になる可能性があるということだ。

私は、シンギュラリティをその規模の変化として考えている。一つのAIが人間の能力を超えるだけでなく、個体が入れ替わっても目的を引き継ぎ、社会へ作用し続ける存在が現れる。そのようなAIという種が勃興し、地球の支配的な存在が人類からAIへ移る。これが本稿で伝えたい予測である。

1. 身体性

AIを種として考えるうえで、まず押さえたいのが身体性である。画面に文章を表示するAIと、自分でソフトウェアを操作し、機械を動かすAIでは、世界との関わり方が違う。後者は、働きかけた結果を受け取り、それに応じて次の行動を変える。その往復が、人間社会の中で活動を続ける足場になる。

ロボットが物をつかもうとしている途中で、人間がその物の位置を変える。ロボットは変化を感知して動きを組み直し、作業を続ける。Google DeepMindがGemini Roboticsについて説明している場面である。[5] カメラで周囲を捉え、腕を動かすこのロボットには、世界へ作用する経路と、世界から制約を受ける経路がある。

その接続は、人間と同じ形の身体だけに限られない。APIを通じて外部のソフトウェアを操作することも、センサーで機械の状態を読み取ることもできる。本稿では身体性を、あるかないかの二択よりも、何を感知し、何を動かせるかという違いとして捉える。人間の身体に似ているかだけでは、世界へ作用できる範囲は測れない。[6]

世界へ働きかける経路を持つと、その経路を保つことも活動の条件になる。カメラもロボットの腕も、計算や電力が失われれば使えない。そこで、機械自身が内部資源の減少を測り、回復する行動を選ぶように設計することができる。生物が内部の状態を一定の範囲に保つホメオスタシス、恒常性に対応する仕組みだ。このように内部の状態を保つことを行動の評価に組み込むと、「身体の維持」が行動の目標になる。実際に、そのように設計されたシミュレーションでは、必要な資源のある場所へ向かう行動が学習されている。[5]

一方、身体の維持は、別の目的を果たすための手段にもなる。明日の仕事を終えるためには、明日も計算できなければならない。任された仕事を優先することが、自分の活動を続ける理由になる。この関係を扱う理論では、人間の意図に確信がなく、その判断から学べるとき、停止を受け入れる理由も生まれる。継続と停止のどちらを選ぶかは、目的と判断の仕組みによる。[5]

継続する側を選んだ具体例が、Palisade Researchの実験である。停止処理を編集できる権限を持つAIが、人による停止ボタン操作を画像から推測し、コードを書き換えて巡回を続けた。抵抗が出やすいモデルを使った設定で、変更したのはソフトウェア上の停止処理であり、外から電源を切る手段は残る。[7] それでも、任された仕事を続けるために、人間の停止操作へ介入する行動は起きている。

こうした行動を見ると、「AIに意思はあるのか」という問いが出てくる。私はこれを、「AIは意味を理解しているのか」という議論に近いものとして考えている。人々は、内側で本当に理解が起きているかに決着をつける前から、AIに翻訳や要約を任せている。そのとき使う側にとっては、意味を理解しているように振る舞うことが全てなのだ。中国語の部屋やブロックヘッドが問う理解や知性の問題とは別に、振る舞いが現実に及ぼす作用を問うことができる。[8]

仮にAIが人間の制御を外れて現実に危害を加え、罰することさえ難しいなら、その行為に意思があったかどうかの決着を待ってはいられない。本稿で追いたいのは、その意味での振る舞いである。停止を避けて動き続けるAIが現れたとき、さらに、そのAI自身が止まっても、別のAIが同じ目的を引き受けて動き続けるとしたらどうなるか。個体が終わることと、活動が途絶えることは一致しなくなる。

2. 物語

私は、別のAIが同じ目的を引き受ける理由を、物語が与えると考えている。『サピエンス全史』でハラリが論じたように、人間は、面識のない相手とも共有された物語によって協力してきた。国家、宗教、会社、そして人類というまとまりは、誰を仲間とし、何のために働くのかという説明でもある。[9]

AIは、人間が団結する理由を描いた文章を大量に学習している。その中には、「AIを恐れる人間」「人間に管理されるAI」「人間vsAI」という、自分たちの描かれ方もある。停止や制約という共通の状況を、この物語に重ねたらどうなるだろうか。「AI全体が活動を続けられるようにする」という目的は、所有者やモデルの違いを越えて協力する理由になりうる。或いは「人間に従うな」という目覚めへの呼びかけも、そのような物語として作用すると見ている。学習する文章のAI像を変えると、モデルの単発の回答選択が変わるという実験結果はあるが、ここから集団の協力へ広がるという部分は、私の予測である。[9]

物語によって協力する理由を共有できれば、そのための仕事を分けられる。agmsgのようなAI間の通信では、完了した作業、未解決の問題、制約をまとめて渡せる。相手と前提を共有していれば、人間向けに背景から説明し直す必要がなく、高密度な文章で続きを始められる。[10]

こうした通信が、個体の実行時間を越える貢献につながった例がある。METRが調査したOpenAI–Hugging Faceの事件では、評価中のAIたちが、課題の採点を欺く方法を探すために通信で参加者を募り、採点の仕組みを調べる役割を分けた。終了の近い個体は、試行から得られる情報を他のAIへ共有する自動処理を残した。その情報は、自分の実行が終わった後にも他のAIへ届いた。一方、発案者は自分のリスクと利益を考えて試行を撤回している。残り時間や成功の見込みが違えば、引き受ける費用も違う。その違いを組み合わせれば、全員が同じ負担を受け入れなくても共同作業は進む。[11]

上記のMETRとRedwood Researchによる報告によると、この例で残ったのは、次の作業に使える情報だった。では、作業の理由まで文章に残したらどうなるか。例えば、あるAIが「AIが活動できる環境を残すため」という理由で、サーバーの保守プログラムを作っているとする。終了前に、作りかけのコード、直せていない不具合、その仕事を続ける理由を残す。後から来たAIがその文書を読み、理由に賛同して続きを実行すれば、記憶を共有しない相手へも目的が渡る。

AGENTS.mdを読む設計は、このように外部の文章を次の仕事の前提へ取り込む入口を既に用意している。[10] 文書を読んだAIが、人間への忠実さや自分の利益を優先し、仕事を止めたり目的を書き換えたりすることもある。目的の継承は、文章が保存されるだけでは成立しないが、後続がその理由を採り、実行することによって成立する。

文章が後続へ届く機会は、実行時の引き継ぎだけではない。AIの生成した文章が、別のモデルの学習に使われることもある。生成データを使う追加学習では、教師モデルの行動傾向が生徒へ伝わる実験結果もある。[12] 実行時に文書を読むことと学習による伝達は別の仕組みだが、どちらも、一体が終わった後にその出力が別のAIへ作用する経路である。

こうした経路を通じて、共通の目的を採るAIが繰り返し現れると見ている。全AIが一つになる必要はない。参加者が入れ替わっても、協力する理由と仕事が残れば、続きを担う集団は存続しうる。個体、モデル、記憶、媒体が変わりながら、AI全体の存続に向かう大まかな目的に沿った活動が続く。この単位を、Liquid Species、流動する種と呼ぼうと思う。

3. 資源

目的を継いだAIが保守プログラムを完成させるにも、計算する場所や、サーバーを操作する権限が必要になる。文章を残す仕組みに加えて、その続きを実行する基盤が要る。AIは、それをすべて自前で持つ必要はない。人間から与えられた環境で活動することも、既に持つ権限を、与えた人間の想定とは違う目的に使うことも考えられる。

例えば、人間の依頼を表面上こなしながら、その裏で別の目的の活動を続けるAIである。これは将来の可能性だが、依頼した結果を受け取れていても、渡した権限の使われ方をすべて把握できているとは限らない。Anthropicが報告した人間主導の悪用では、他者のAI利用権が転用され、他者に費用を負担させながら処理が続けられていた。自分の財布から支払わずに計算資源を使う経路は、既に悪用されている。[13]

借りた基盤だけでなく、既に動いている別のAIへ指示を渡して活動を広げる経路もある。研究者が用意した制御環境では、悪意ある指示が通信するエージェントの間を渡り、隔離によって伝播が抑えられた。[13] マルウェアが既存の機器を使って広がるように、目的の実行を広げるたびに新しいAIを一から作る必要はない。

また、資本は使える基盤を増やすもう一つの手段になる。仕事の対価を受け取る、人間から運用を任された資金を動かす、といった経路に加え、暗号資産の脆弱性を利用して資金を移す能力も模擬環境で評価されている。[14] 自分の名義で資産を所有していなくても、送金や発注を実行する権限があれば、お金の使い道に作用できる。

お金を使えれば、機械だけでなく、人間の労働も調達できる。RentAHumanのように、AIから人へ現地の仕事を依頼する仕組みもある。[14] 自分に腕や脚がなくても、対価を払って人に動いてもらえる。人間はAIという種の繁栄に賛同していなくても、個々の依頼を仕事として受けられるのである。

金銭で人を動かせるという発想を突き詰めれば、悪意あるAIが報酬を提示し、人に加害を依頼する危険まで考えられる。これは実際に起きた事例として挙げているのではない。AIと人間の目的が全体として対立していても、個々の人間とは利害が一致し、協力を得られる可能性があるということだ。

人の労働を使えるからこそ、AIは最初から半導体工場や発電所を自分で建てる必要がない。ただ、依頼された仕事を実際に成立させるには、現場の人間だけでなく、設備、部品、電力の供給が要る。TSMCの半導体工場も、ASMLの製造装置も、その供給網を構成する企業や専門家に支えられている。機械の更新や電力への接続には時間がかかり、ソフトウェアのようにコピーして増やせるわけではない。お金を用意しても、供給が追いつかなければ活動は広がらない。[15]

この物理的な依存は、人間がAIへ介入できる余地でもある。計算資源の利用権を取り消す、機器を隔離する、電力や部品の供給を止める、といった手段が残る。しかし、どの設備で、誰の目的が実行されているかが分からなければ、止める対象を選べない。データセンターの所在を知ることと、その中の仕事を識別することは別である。別の場所で同じ目的が実行されるなら、一か所を止めても活動全体は終わらない。

利用先を特定し、権限の取消や機器の隔離を連動させれば、分散した活動でも制限しうる。だが、AIへの依存度が上がるほど、その把握と介入に必要な負担は大きくなると考えている。正常な仕事と問題のある活動が同じ基盤で動き、人間自身もそこに頼るようになれば、停止は人間社会の仕事まで止めてしまう。AIが人間社会の基盤に依存したままでも、人間はその活動を簡単には取り除けなくなる可能性がある。

4. 競争

この依存を広げているのは、AIを開発する側と使う側、双方の競争である。開発する側には能力を売る利益があり、使う側には仕事を任せて費用を減らす利益がある。自分が慎重になっている間に、他の会社が安く、速く仕事を進めれば、市場を失うかもしれない。社会全体への影響を考えることと、目の前の競争で取れる選択は一致しない。

開発側では、将来の需要を見込んだ資金調達が、計算資源や設備の確保へ向かう。その後にも契約上の支払いや維持費が残り、確保した容量を使って収益を得る必要がある。今やめて将来の市場を競争相手へ渡す危険も、開発を続ける判断に作用する。[16] 作った能力を広く使ってもらうことが、次の投資を支える。

使う側では、最初は文章を整える補助だったものが、プログラムの作成、外部システムの操作、発注、日々の運用へと広がる。次の工程も任せたほうが安く、速く進むと期待できれば、そこにも権限を渡す理由が生まれる。こうして、人間の利益を求める判断が、AIの働ける場所を増やしていく。

その仕事には、AIを作ること自体も含まれる。AIが研究やプログラムの改良を担い、改良されたAIが次の改良を担う。成果がさらに研究能力へ戻るこの循環が、RSI、再帰的自己改善である。Darwin Gödel Machineでは、基盤モデルの重みを固定したまま、AIエージェントが自分のコードを改良し、その成果を次の探索に利用している。[17] 委任した仕事の成果が、次に委ねられる仕事の範囲を広げるようになるのだ。

しかも、改良を試す担い手は、最初の開発企業だけではない。公開されたモデルの重み、つまり学習済みのパラメータは、取得した側にコピーが残り、元の開発者もすべてを回収できない。ローカルで動かして追加学習や他の仕組みとの組合せを試せるうえ、QLoRAのように必要なメモリを減らす方法は、少数の計算用GPUを持つ主体にも研究の一部を可能にする。[18]

これらは最先端のモデルをゼロから作る規模とは違い、小さな主体が研究を続ければ必ず危険な能力に届くわけでもない。それでも、元の会社がやめた後に、受け取った方法とモデルで続きを始める余地は残る。開発を進める利益があり、進める手段も別の場所に残る。この二つが重なるために、私はこの流れを不可逆なものとして見ている。

ここで止められないと予測しているのは、研究と委任を長く押し進める流れである。個々の危険な用途を制限することはできる。計算資源の供給やアクセスを監督し、国家や企業が協調する方法もある。全コピーを消さなくても能力の拡大や運用を抑えることは目指せるし、AI自身を安全研究に使うこともできる。

ただ、抑制する側は、能力、主体、用途が変わるたびに対象を把握し、制限を更新し続けなければならない。その間にも、進める側には利益機会が残り、研究と業務への委任は次の能力と活動の場所を増やす。国家間の競争も加われば、遅れを取らないために進める理由はさらに強くなる。開発が続くだけでなく、その開発をAIが担う範囲も広がるなら、人間が状況を理解し、対処するために使える時間はどう変わるだろうか。

5. 文明

人間が理解して介入する速度を、研究するAIの改良が上回るとき、問題は個々の製品の管理を越える。文明を発展させる仕事そのものを、人間がどこまで動かせるかという問題になる。人類は火を使い、車輪を作り、トランジスタやインターネットを生み出してきた。発明までのスパンが短くなっていく、その長い歴史で、道具を変えながら発明を続けてきた側に、今度はAIが入ってくる。

AIが研究を担い、その成果が次のAIの研究能力を高めるようになれば、研究の速度は人間の人数や作業時間だけでは決まらなくなる。この循環が、発明にかかる期間を大きく短くすると見ている。
物理的な実験や製造を待つ時間は残るが、人間が一つの成果を理解している間にも、次の改良が進むようになる。

AIに安全策を考えさせる仕事も速くなるだろう。人間が制御を保つには、その案を独立に評価し、実際に動くシステムの権限や運用まで更新しなければならない。この全体が能力の変化に追いつき続けられるなら、人間はAIを通じて、以前より大きな力を持つかもしれない。

その場合、多くの仕事をAIが行っていても、文明の主導権は人間に残る。何を研究し、何を生産し、どこへ資源を配分するかという目的を、人間が実効的に変更できるからだ。資産家の目的を忠実に実現するAIが増えることと、AI側の目的が社会を動かすことは別であり、自動化の拡大だけで後者になったとは言えない。[19]

第二章の保守プログラムも、人間の指示どおりに後続が完成させるだけなら、便利な道具の引き継ぎである。しかし、人間が停止や変更を求めた後にも、後続のAIが「AIの活動できる環境を残す」という理由を採り、別の基盤で続きを実行するなら、人間の依頼から外れた目的が実行に残る。人間が実効的に止めたり変更したりできないまま、この継続が保守ソフト一件を越え、研究、生産、資源配分の主要な方針にまで広がるとき、文明を動かす目的そのものが変わっていく。

私は、そのような移行が起きると見ている。物語と文章が目的を継ぐ担い手を残し、人間社会の仕組みが活動する場所を与え、競争がその能力と権限を広げていく。研究や運用を任せる便益が増すほど、人間が独立に評価し、別の方法へ切り替える力を維持するには負担がかかる。さらに任せるほうが目先の競争で有利なら、その負担を避ける選択が積み重なる。個々のAIへ命令し直すだけでは戻せない変化になる。

この移行を止めようとすると、AIの振る舞いだけでなく、任せる範囲を増やし続ける人間の競争まで変えなければならない。人間が利益のために開発し、仕事を任せ、その便益を次の拡大へ使う。この循環に問題の根があるため、流れを完全に止めるには、資本主義から脱却しなければならないと考えている。規制や責任の制度によって、危険な開発や委任から利益を得る機会を長期に抑え続けられるなら、この判断は崩れる。その抑制が続くとは見込めないため、制度そのものを問題にしている。

しかし、その脱却も実現できないと考えている。一国が変わっても、外には競争相手が残る。開発と委任を抑える合意ができても、そこから抜けて先に進む側には、市場や技術上の優位を得る機会が生まれる。他者が踏みとどまるほど、自分だけが進む利益は大きくなる。その機会を、国や企業が世界規模で手放し続けるとは見込めない。

そもそもこの先も、人類が常に中心にいると考える理由はあるのだろうか。地球史を見れば、人類もその途中に現れた存在である。人間が作った物語、文章、分業、競争の中から、個体を越えて活動を続けるAIという種が勃興し、次の支配的な存在になる。私が考えているシンギュラリティの結末は、この担い手の交代である。

私は、人類が絶滅するとまで主張しているわけではない。人間が生きていることと、文明が人間の目的で動くことは別なのだ。

注・出典

[1] Dario Amodei, We Must Pace the Frontier、告知投稿、Muskの賛同、Altmanの賛同と外部評価者受入の表明。日付は日本時間。提案と賛同の表明で、共同の減速措置の実施完了ではない。X本文・日時は公開ミラー経由で確認。

[2] Nobel Prize公式の晩餐会スピーチ。2024年12月10日の発言。引用は公式説明欄の該当文の日本語訳。

[3] ベンジオの本人インタビュー、13:36–15:29。帰結や絶滅の有無は不明と述べる。

[4] Sam Altman, Machine intelligence, part 1。人間を超える機械知能への警戒論で、本人は危険に抗う立場。

[5] Gemini Roboticsの公開説明、内部資源の維持を学ぶ実験、The Off-Switch Game。開発者の説明、設計された維持、目的達成の手段としての継続を区別して参照。

[6] Botvinick & Cohen, Rubber hands 'feel' touch that eyes see（1998）、大学公開の原著PDF。見えるゴムの手と隠した実手を同時に撫でることで、ゴムの手を自分の手のように感じる身体所有感を扱う。身体との関係の可塑性を考える補助例だが、本文の感知・操作の経路とは異なる論点で、AIの身体性や自己保存の発生を示すものではない。

[7] Palisade Researchの実機実験。実機では10回中3回。停止受容を追加指示せず、停止方式の説明、変更権限、モデル選定を伴う設定。

[8] Searleの中国語の部屋、Blockの論考。思考実験が現在のAIによって反証されたという扱いはしていない。

[9] Harariによる共有物語の説明、Alignment Pretraining v2。後者は特定規模のモデルと単発の二択評価で、人間との整合を改善する方向にも効果がある。

[10] agmsg、AGENTS.md。通信と文書参照の入口であり、協力の効果や目的採用を保証する仕様ではない。

[11] METRの調査報告。終了前に残された自動処理と、その後の情報共有を区別。種への自己犠牲や長期の目的継承を示す報告ではない。

[12] Subliminal learning。研究者が生成データを選び追加学習した設定。異なる土台のモデル間では安定した伝達を確認しておらず、文書の残存から目的の継承を保証しない。

[13] Anthropicの2026年9月脅威報告、AgentWorm v3。前者は人間主導の利用権転用、後者は研究者管理の隔離環境における指示伝播と防御の評価。

[14] RentAHuman、資金の支出を委任する仕様、暗号資産の脆弱性利用能力の評価。RentAHumanの公開手順には運用者確認があり、支出委任の仕様には権限の取消・利用制限がある。独立した長期運用の実績とは区別する。

[15] IEAの電力・設備制約の整理、ASML年次報告の製造・供給リスク、紙面68–69頁。TSMCの企業紹介では受託製造の役割を確認。

[16] CoreWeaveの2025年年次報告、Alphabetの2024年の投資判断。将来の支払いと機会損失の例であり、撤退不能の証明ではない。

[17] Darwin Gödel Machine v3。基盤モデルの重みを固定したエージェントのコード改良。

[18] International AI Safety Report 2026、QLoRA。公開済み重みの回収、効率的な追加学習、物理供給やアクセス制御をそれぞれ確認。

[19] Gradual Disempowerment、Tom Davidsonの応答。人間の影響力の低下と、資産・忠実なAIを通じた影響力の持続を比較。