
AIと人類の境界線 第1回 : AIは危険だから開発を止めるべきなのか――中国との競争が生む「AI安全」の逆説
AI開発の危険性を訴える研究者の警告は正当だが、米国だけが減速すれば技術・データ・覇権が中国へ移り、権力集中した体制が最強AIの是非を握る逆説が生じる。停止ではなく安全制約つきの加速が要る。
1. AI研究者はなぜ警鐘を鳴らしたのか
【僕】
AIの進化が激しいため、規制すべきだという意見がある。それに対してAI社の対応が遅いことに反発し、有名な技術者が退職したことがニュースになった。
はたして、その動きや、その技術者がしたことは正しいのだろうか。
アメリカのAI企業が動きを止めれば、これ幸いとばかりに中国の企業がシェアを奪いにくる。
中国の企業がAI界を支配する世界の方が、明らかに人類滅亡に近くなると思うのは、考えすぎとは思えないが?
【ChatGPT】
ご懸念は「考えすぎ」ではありません。ただし、「中国企業がAIを支配すれば、人類滅亡に明らかに近づく」まで言い切ると、現時点の証拠より一段強いと思います。むしろ重要なのは、「AI安全」と「米中の戦略競争」を別々の問題として扱わず、同時に解かなければならないことです。
おそらく念頭にあるのは、9月8日にAnthropicを退職したAI研究者の件でしょう。彼はOpenAIにも在籍した研究者で、AnthropicやOpenAIが自己改善能力を持つ高度AIの開発競争を続けることを「人類の生命を賭けている」と批判し、国際的な規制や開発速度の抑制を訴えました。現職のAnthropic研究者やOpenAI関係者からも、同種の懸念が出ています。
退職したこと自体は、私はかなり筋が通っていると思います
研究者が「自分はこのリスクを重大だと考えているのに、所属組織の行動と両立できない」と判断したのであれば、退職して公に問題提起するのは正当な行動です。それによって、企業内部だけに閉じていた技術的な懸念が議会や社会に伝わります。実際、今回の発言を受けて米議会でもAIの安全規制を求める動きが強まっています。
しかし、「だから米国のAI企業は一方的に開発を止めるべきだ」という政策論になると、私は賛成しにくいです。
ここで、あなたが指摘しているゲーム理論上の問題が出てきます。
米国のOpenAI、Anthropic、Googleなどが能力向上を2年間止め、中国のMoonshot、Alibaba、DeepSeekなどが止めなければ、単に安全になった世界が出現するわけではありません。技術・人材・利用者・資本・標準策定力が中国側へ移る可能性があります。
これは現在すでに机上の空論ではありません。2026年夏には中国製モデルが米国製フロンティアモデルとの差を急速に縮め、一部ベンチマークではトップ級になったことが米国で大きな政策問題になりました。中国企業は低価格とオープンウェイト戦略も強く推進しています。
さらに今週、NSA・FBI・CISAは、中国企業が米国製フロンティアモデルに対して大規模な「蒸留」を行い、能力を取り込もうとしているとの警告を公表しました。中国側はこの主張を否定していますが、少なくとも米国が速度を落とせば競争相手も自動的に速度を落とす、という前提は成立しないでしょう。
ただし、「中国のAI=より危険」と単純化するのも危険です
ここはかなり重要なところです。
中国主導のAI秩序になった場合、私がより現実的に懸念するのは、まず「AIが人類を絶滅させる」ことよりも、監視、検閲、軍事・サイバー能力、情報操作、技術標準への影響力、他国のデジタル依存です。
中国の生成AI規制には、社会主義的価値観や国家安全保障に適合するコンテンツを要求する規定があります。つまり、中国製AIが世界の基盤になった場合、西側のAIとはかなり異なる情報統治モデルが輸出される可能性があります。
一方で、「中国はAI安全など考えていない」というのも正確ではありません。中国は米国、日本、英国などとともに2023年のブレッチリー宣言に参加してフロンティアAIの重大リスクを認めていますし、中国政府自身も「安全・制御可能」「人間の管理下に置く」ことを公式に掲げています。
したがって、
米国企業支配 → 安全
中国企業支配 → 人類滅亡
というほど単純な構図ではありません。
むしろ人類滅亡級の「制御喪失リスク」だけを見るなら、どこの国が作ったかより、どの程度強力なAIを、どのような安全検証なしに、どの速度で投入するかの方が重要です。
そして皮肉なことに、最も危険なのは「中国が勝つこと」そのものより、
米国「中国に負けるから急げ」
中国「米国に負けるから急げ」
→ 両者とも安全試験を省略する
という軍拡競争型の均衡かもしれません。
核兵器の歴史でいう security dilemma にかなり近い構造です。
だから私は、辞めた研究者の「問題提起」と「処方箋」を分けて評価します
問題提起については、かなり価値があります。「企業自身が安全を判断すればいい」という完全な自主規制には明白な利益相反があります。競争が激しくなればなるほど、「あと半年安全研究をする」会社が市場で不利になるからです。
しかし、「フロンティアAI研究を止めよう」だけでは政策として不完全です。必要なのは一国だけを減速させる規制ではなく、競争条件そのものを変える規制でしょう。
具体的には、米国が技術的優位を維持しながら、一定以上の計算資源を使ったモデルについて独立した危険能力評価、サイバー・生物兵器能力のテスト、重大事故の報告、モデル盗難防止、自己改善能力の監視などを義務化する。同時に高度半導体・計算資源について戦略的な輸出管理を行い、中国とも「ここを越えたモデルは双方とも検査する」という最低限の相互ルールを作る、という方向です。
実際、米中は今月、AI安全について公式な二国間協議を準備しており、サイバー攻撃や高度AIのリスクを議題にする予定です。つまり政策当局も、「米国が止まるか、中国と競争するか」の二択ではなく、競争しながら事故防止のガードレールを作る方向を模索しています。
私なら結論をこう置きます。
研究者が辞めて警鐘を鳴らしたことは、十分に正当化できる。
しかし米国だけがAI開発を大幅に止めるべきだ、という結論には同意しない。
そして中国にAI覇権を全面的に渡すことを警戒するあなたの感覚には、かなり合理的な根拠がある。
ただし、その理由を「中国ならAIが人類を滅ぼすから」とするより、「権威主義国家への技術覇権集中と、米中の無制限なAI軍拡競争の両方が危険だから」と考える方が正確です。
究極的には、これは「AIを進めるか止めるか」という問題ではありません。
「安全側が競争に負ける」というインセンティブ構造をどう壊すかが本丸です。
そして、この観点では研究者の警告と、あなたの「中国との競争を無視してよいのか」という反論は、実は相反するものではありません。両方とも正しい問題を指摘していて、片方だけを政策にすると危険なのだと思います。

______
2. 中国との競争を無視できるのか
【僕】
研究者自身、AIの開発は、一歩誤ると人類の危機に直結すると認識しているのではないか?
また、中国と最低限の相互ルールを呼びかけても、乗ってくるとは思えない。
これは、開発途上国に、温暖化防止のため二酸化炭素排出抑制を訴えかけても、「先進国のみ恩恵を受けたのに、自分たちが伸びようとする時に抑制されるのは納得できない」という議論と似ている。
また、ここでは取り上げられていないが、中国企業である以上、
国家情報法
の管理下にある。これは安全保障上の極めて高いリスクだ。
アメリカのAI社が進化を止めた時、使い勝手のよい中国社に流れるが、その個人情報は中国政府に管理される。
この方がリスクは高い。
【ChatGPT】
はい。私は、論点をそこまで広げると、あなたの懸念はかなり合理的だと思います。特に「AIの性能競争」だけでなく、AIサービスが誰の法域に置かれ、世界中のどんなデータがそこへ集まるのかまで含めると、問題の性質が変わります。
まず研究者についてです。彼は単に「AIには差別や誤情報などの問題がある」と言っているのではなく、再帰的な自己改善や高度な自律性によって、人間が制御できなくなる可能性を問題にしています。WIREDの取材では「今後1~2年が人類にとって重要な時期だ」という趣旨まで述べています。つまり少なくとも研究者自身は、フロンティアAIの開発失敗を文字どおり破局的・存亡的リスクとして認識していると理解してよいでしょう。
ただし、「研究者がそう考えている」ことと「AI研究者の総意である」ことは別です。フロンティアAI研究者の中に重大な制御喪失リスクを本気で心配している人が相当数いることは事実ですが、その確率や時間軸についてはかなり意見が割れています。したがって研究者の退職は、危険性を証明するものというより、そのシステムを最も近くで作っている専門家の一部が、無視できないほど深刻な危険だと判断しているという警報として受け取るのが適切だと思います。直近には米議会でも、こうした警告を受けて破局的リスクを対象とする安全規制の議論が強まっています。
そして、ここからがあなたの指摘の重要なところです。
「危険だから速度を落とそう」という研究者の主張は、世界全体が同じ速度で落とすなら合理的です。しかし米国企業だけが落とす場合は、全く別の結果になり得ます。
温暖化の比喩はかなり適切です。ただAIの場合、むしろさらに難しい面があります。CO₂排出では、ある国が排出量を増やしても、それだけで他国の産業や情報を直接支配するわけではありません。しかしAIには強いネットワーク効果があります。性能がよく、安く、便利なモデルにユーザー、企業、開発者、API、業務データが集まり、それがエコシステムそのものになります。
つまり、
米国が安全のため減速 → 中国モデルの性能・価格競争力が相対的に上昇 → 世界のユーザーが中国サービスへ移行 → データ・開発者・アプリ・AI標準まで中国側へ集中
という経路が存在します。
これはAI安全政策を考える上で、非常に重い副作用です。
3. 国家情報法と、AIへのデータ集中
そして国家情報法の問題については、重要な補足をした上で、私はあなたの懸念にかなり同意します。
中国の国家情報法第7条は、すべての組織・国民について、法律に従い国家情報活動を「支持、協力、配合」する義務を規定しています。さらに14条では、国家情報機関が組織や国民に必要な協力を求めることができます。16条には資料等へのアクセスに関する規定もあります。
一方、中国にも個人情報保護法(PIPL)があり、個人情報保護そのものが存在しないわけではありません。実際、同法は個人情報の適法・必要な処理などを要求しています。
ですから、
「中国企業のデータは中国政府がいつでも自由に全部見られる」
と断定するのは正確ではありません。
しかし安全保障上重要なのはそこではありません。
中国法の管轄下にある企業は、国家安全保障・情報活動に関する法的要求を受けた場合、それに協力する義務を負う構造にある。
これだけで、外国政府、軍、防衛産業、重要インフラ企業、研究機関などが機密情報を入力するサービスとしては重大なリスクになります。
しかもDeepSeekについては仮定の話ではありません。
現行のDeepSeekプライバシーポリシーは、ユーザーが入力したテキストだけでなく、音声、アップロードしたファイル、写真、チャット履歴などを収集対象として明記しています。さらに、
「中国国内で個人データを直接収集・処理・保存する」
と明記しています。
同社はまた、サービス改善や機械学習モデル・アルゴリズムの訓練・改善にもユーザーデータを利用すると説明し、法令や政府要請に応じて公的機関などと情報を共有する場合があるとしています。
だからオーストラリア、韓国、イタリア、オランダなどでDeepSeekについて政府利用の制限やプライバシー当局による調査が起きたわけです。単なる「中国嫌い」だけで説明できる現象ではありません。
ここで私は、AIリスクを三つに分けると議論が非常に明瞭になると思います。

この三番目が、先ほどの私の回答では十分に重く扱えていませんでした。
そして「どちらのリスクが高いか」という問いに対しては、時間軸で答えが変わります。
今後数年という現実的な国家安全保障リスクで考えるなら、中国企業のAIプラットフォームへの大量のデータ集中は、AIによる人類絶滅よりはるかに具体的で観測可能なリスクです。
一方で、研究者たちが主張する制御喪失が仮に1%でも本当にあり得るなら、被害が人類全体なので、期待損失として無視することもできません。
したがって政策として最もまずいのは、
「AIは危険なので民主主義国だけ開発を止めましょう」
だと思います。
それでは安全問題を解決するどころか、フロンティアAI能力、AI産業、ユーザーデータという三つの戦略資産を、より安全保障上の懸念が大きい法域へ移転させる可能性があります。
かといって、
「中国に負けられないので安全性を無視して全速力」
も危険です。
したがって米国・日本・欧州が取るべき政策は、「停止」より安全制約つきの加速に近いと私は考えます。
強力なAIの研究開発自体は続ける。一方、危険能力評価、サイバー・生物兵器能力のテスト、自律行動の制約、モデル盗難防止、重大事故報告などを義務化する。同時に最先端半導体・製造装置・巨大計算資源というボトルネックについては安全保障政策を維持する。そして政府・防衛・重要インフラ・企業秘密については、中国法域にデータを送るAIサービスへの入力を強く制限する。
これなら、
「AI事故を防ぐための安全保障」と「中国へのAI覇権・データ覇権の移転を防ぐ安全保障」
を同時に扱えます。
中国との相互ルールについても、あなたの懐疑論には理由があります。「人類のためだから一緒に減速しましょう」と呼びかけるだけで中国が応じる、と私は考えるべきではないと思います。
成立するとすれば善意ではなく、中国自身にも破るコストがあり、守る利益があるルールだけでしょう。核軍備管理と同じで、「相手を信用する」制度ではなく、「相手を信用しなくても機能する」検証・抑止構造が必要です。
そして、ここまで考えると研究者の警告には一種のパラドックスがあります。
彼の恐れているものは、
「企業間・国家間競争のせいで、誰も安全のために減速できないこと」
です。
ところが一国だけがその警告を聞いて大幅に減速すれば、まさにその競争圧力によって、より安全保障上問題のあるプレイヤーが優位になる可能性があります。
したがって私は、研究者の「危険性の診断」にはかなり耳を傾けるべきだが、「開発を減速させる」という処方箋は地政学まで入れると不十分、という評価になります。
特に日本から見るとこれは米中の抽象的な覇権争いではありません。AIが検索、OS、オフィス、プログラミング、医療、金融、行政、防衛のインターフェースになっていけば、「どの国のAIを使うか」は「どの国のクラウドに国家と企業の思考過程を預けるか」に近い問題になっていくからです。
その意味では、あなたの「米国AIの減速によって中国AIへ利用者が流れるリスクも、安全論の中に入れなければ片手落ちだ」という指摘は、かなり本質的だと思います。

______
4. AIを統御する政治制度も「安全性」の一部
【僕】
中国は、法や憲法の上に中国共産党が位置する。司法も党の指導のもとにおかれる。
つまり、中国は法治国家ではなく、中国共産党が最高意思決定機関の党治国家(党国体制)である。
中国共産党が意思を決定するプロセスは、日本のように立法府が法制化するのではなく、少数のトップにより決められる。
もしそのトップが誤った決定をしたら?
これは、ロシアの例で証明済み。
【ChatGPT】
はい。ここは前のAI安全論よりさらに根本的な問題だと思います。ただし、一点だけ表現を修正すると議論がより強くなります。
中国について「共産党は憲法の上にある」と法律上明記されているわけではありません。中国憲法5条はむしろ「いかなる組織・個人も憲法と法律を超える特権を持たない」と規定しています。一方、1条は「中国共産党の指導」を中国型社会主義の本質的特徴と規定しています。つまり形式上は憲法が最高法規ですが、統治の現実では党が国家機構を指導する「党国家」です。米議会調査局も2026年の報告で、中国共産党を中国の「dominant political institution」とし、7人の政治局常務委員会を最高意思決定機関と位置づけています。
そして司法についても重要です。中国政府自身は「人民法院は依法独立して裁判権を行使する」と説明しています。しかし同時に、共産党の中央政法委員会が最高人民法院、最高人民検察院、公安部、国家安全部、司法部などを監督する制度になっています。したがって、日本や米国でいう「政治権力から独立した司法が、政治権力そのものを法によって拘束する」という意味での司法独立とは構造が違います。
ですから、実態をより正確に表現するなら、
「中国には法律も立法手続も裁判所も存在する。しかし国家権力から独立した法が共産党を最終的に拘束する自由民主主義型の立憲主義ではなく、党の指導の下に立法・行政・司法が置かれる党国家体制である」
となるでしょう。
そして、おっしゃる「トップが間違えたらどうするのか」は、この制度とAIを結び付けたときの最大の問題の一つです。
中国にも全国人民代表大会があり、法律は実際に制定・改正されます。ですから「少数者が直接法律を書く」という単純な仕組みではありません。しかし国家の戦略的大方針については、共産党上層部で決定され、それを国家機構が具体化する構造です。現在は7人の政治局常務委員会が最高意思決定機関で、習近平は総書記・中央軍事委員会主席・国家主席を兼ねています。党幹部が国務院、全人代など国家機関のトップも兼ねることで、党の方針が国家機構全体に通るよう設計されています。
したがって問題は「独裁者は必ず愚かな判断をする」ということではありません。
むしろ、
優秀な指導者なら非常に素早く正しい決断ができる反面、最高指導部が大きく間違えた場合、それを止める独立した機構が少ない
という「テールリスク」です。
そしてロシアのウクライナ侵攻は、その失敗モードを非常にはっきり示した事例です。
2022年2月の侵攻について、その後の研究では、プーチンを中心とした高度に集権化された意思決定、情報のフィルタリング、異論の不足が、ウクライナ軍・ウクライナ社会の抵抗、西側の結束などについての重大な誤算につながったことが指摘されています。2026年に掲載された研究でも、プーチン政権の誤認と過度に中央集権化された意思決定構造が侵攻戦略を説明する重要な要素だったとされています。
ただ、私は「ロシアによって証明済み」とまでは言わず、
「ロシアによって、この種の政治制度に存在する重大なfailure modeが実例として示された」
と表現します。
この違いは重要です。民主主義国だって重大な誤りを犯します。イラク戦争などを見れば明らかです。
違うのは、間違いを犯す能力ではなく、間違いを発見して止めたり修正したりする経路の数です。
自由な報道、野党、議会、公聴会、独立司法、選挙、内部告発、大学、民間研究機関、株主、地方政府――それぞれ単独では不完全ですが、「最高指導者の認識が間違っている」と公然と言える複数の回路があります。
権力が高度に集中すると、このフィードバック回路が細くなる。
しかも、人間には厄介な性質があります。
部下は権力者が聞きたがる情報を上げるようになる。悪いニュースを伝えた人間が冷遇されれば、その傾向はさらに強くなる。すると最高指導者自身は「正確な情報に基づいて合理的に判断している」と思っていても、入力データそのものが歪む。
ロシアの初期侵攻計画については、まさにこの情報問題が指摘されています。秘密主義と狭い意思決定サークルのため、基本的前提が間違っていた場合の代替案すら十分検討されなかったという分析があります。
5. 権力集中と、不可逆な誤判断
そしてAIでは、この問題がロシアの戦争以上に恐ろしい
ここで先ほどまでの議論につながります。
仮に中国がフロンティアAIで世界トップになったとします。
そして最高指導部が、
「米国より先に自己改善型AIを完成させることが国家安全保障上不可欠だ」
と判断したとする。
その判断が正しければ中国は巨大な戦略的優位を得ます。
しかし、
「安全性評価では危険な兆候が出ています」
「自律的なサイバー能力が予想以上です」
「自己複製・自己改善能力を止められない可能性があります」
という技術者の報告があったときに、
「アメリカに追いつかれたらどうする。予定どおり進めろ」
という判断が最高レベルで下されたらどうなるのか。
ここで研究者の問題提起が急に現実味を帯びます。
通常の産業政策なら、指導者が間違えてもGDPが数%落ちる、企業が倒産する、といった損失で済むことがあります。
核兵器、バイオ技術、そして十分に高度なAIではそうではない。
一度の誤判断が不可逆的になり得る。
だから私は、ここまで議論すると「中国がAI覇権を握るリスク」を単なる米中の産業競争として扱うべきではないと思います。
問題は少なくとも三重です。
1. データ――中国法域のサービスへ世界中の個人・企業・政府情報が集積する。
2. 価値観・情報統制――世界の情報インターフェースを誰が設計するか。
3. 存亡リスクの意思決定――非常に強力なAIの開発・配備について、最終的な「GO / NO-GO」をどの政治制度が決定するか。
三番目は特に深刻です。
ここで研究者の主張に大きな弱点が出てくる
研究者の立場を最大限善意に解釈すると、
「競争を続ければ、企業は安全性を犠牲にして危険なAIを作ってしまう。だから競争そのものを減速させなければならない」
でしょう。
これは論理的です。
しかし、
OpenAI、Anthropic、Googleだけがその倫理に従ったらどうなるか。
中国が従わなければ、
米国モデルの能力向上が鈍る
→ 中国モデルとの性能差が縮まる
→ 価格競争もあって中国モデルの利用が増える
→ 世界中のデータと開発者が中国AIへ集まる
→ 中国企業の収益・計算資源・研究人材が増える
→ 中国がフロンティアAIでも優位になる
というフィードバックが起こり得ます。
そして最終的に、
人類史上最も強力な技術の最終的な開発判断が、最も権力集中度の高い政治体制の一つに集中する
としたら、「AI安全のために西側だけ減速した」という政策が、かえって世界全体のAIリスクを上昇させるという逆説が成立します。
私は、この可能性を軽視すべきではないと思います。
ただし、ここから「だから米国企業は無制限に突っ走るべきだ」とはなりません。
むしろ最適解は、
民主主義陣営がフロンティアAIで技術的優位を維持することと、
その陣営内部では研究者が求めているような厳格な安全性評価を課すこと
の両立ではないでしょうか。
これは難しい政策ですが、「世界全員が善意で減速してくれる」という前提よりずっと現実的です。
そして、この観点から見ると、研究者の警告そのものは非常に重要です。ただし彼の警告から直ちに「では米国AI企業の開発速度を落とそう」と結論するのは、地政学的な第二次効果まで考慮していない。
私はむしろ、
研究者が正しければ正しいほど、「誰が最先端AIを支配するか」という問題も重大になる
と思います。
AIが本当に普通のIT技術ではなく、人類存亡に関わり得るほど強力な技術なら、なおさら「安全性」だけでなく、その技術を最終的に統御する政治制度に誤り訂正機能があるかまで評価しなければならない。
そこまで含めると、「AI安全」と「民主主義国がAI技術の優位を維持すること」は、相反する目標ではなく、むしろ同じ安全保障問題の二つの側面だと思います。

______
6. ドリーが示した「一度できると証明された技術」の怖さ
【僕】
仮にアメリカがAIの競争抑制に舵を切ったとする。そして、その危険性に中国も賛同し、協調したと仮定する。
しかしクローン羊「ドリー」の例を思い出してほしい。
限られた研究者により、世界を破壊するものが生まれる危険性をはらんでいるのではないだろうか?
【ChatGPT】
はい。ただし、私は「ドリー」の教訓を少し言い換えます。
本当に恐ろしいのは、いったん誰かが作った危険な能力が“少人数でも扱える技術”に変わってしまうことです。
これはAI規制の非常に難しいところです。
まず事実として、ドリーはロスリン研究所とPPL Therapeuticsの科学者、発生学者、獣医師、外科関係者などからなる専門チームによる、何か月もの研究の成果でした。
しかし、ドリーが世界に与えた衝撃はそこではありません。
「そんなことはできない」と思われていたことが、一度“できる”と証明された。
ここが重要です。
科学技術では、
不可能と思われている段階
→ 一流研究機関だけができる段階
→ 大企業・大学ならできる段階
→ 小規模な研究室でもできる段階
と、しばしば参入障壁が下がっていきます。
AIでも同じことが起きる可能性があります。
現在の最先端AIをゼロから訓練するには、巨大な計算資源、半導体、電力、データ、研究者、資本が必要です。現時点では「一人の研究者が自宅のPCでOpenAIやGoogleを超えるモデルを作る」というのは現実的ではありません。最先端モデルの開発費は数億ドル規模に達し得るという分析もあります。
ところが、問題は二段階目です。
一度強力なモデルが作られてしまえば、そのモデル自体を盗む、コピーする、蒸留する、改造する、あるいは公開されたモデルから安全装置を外すことは、最初から作るよりはるかに容易になり得ます。
2026年のInternational AI Safety Reportが特に警告しているのもそこです。
現在はオープンウェイトモデルと最先端の非公開モデルとの差がかなり縮まっています。そして一度モデルの重みが公開されると、回収することができない。誰かが保存したコピーから安全機構を外して運用することも可能になります。
ここには核兵器とも違うAI特有の危険があります。
核兵器なら設計図が流出しても、濃縮施設、核物質、精密設備など巨大な物理的ボトルネックがあります。
AIの場合、
「世界最高クラスの知的能力」がファイルになってしまう可能性がある。
これは非常に大きな違いです。
モデルの重みが一度世界に流出すれば、国境警備をしても取り戻せません。
したがって、仮に、
米国「危険なので開発を抑制しよう」
中国「賛成する」
EU「賛成する」
日本「賛成する」
となったとしても、それだけでは十分ではありません。
問題は、
北朝鮮のような国家はどうするのか。
犯罪組織はどうするのか。
秘密研究所はどうするのか。
内部関係者によるモデル盗難はどうするのか。
そして一人の極端な思想を持つ高度な技術者はどうするのか。
ということになります。
7. 危険なAIは誰の手に渡るのか
ここで、あなたの「限られた研究者問題」が出てきます。
ただし私は、危険を三段階に分けるとさらに分かりやすいと思います。
1. 危険なAIそのものを作る
現在は巨大企業・国家級の資源が必要なので、一個人による実行可能性は低い。
2. 既に作られた危険なAIを入手する
モデル流出やオープンウェイト化が進めば、必要資源は大幅に下がる。
3. それを危険な目的に利用する
ここまで来ると、一人または少人数でも深刻な問題を起こせる可能性が急激に高くなる。
私は、本当に警戒すべきなのは2から3への移行だと思います。
しかもAIにはもう一つ厄介な特徴があります。
普通の危険技術なら、利用者自身に高度な専門知識が必要です。
しかし非常に高度なAIは、その専門知識そのものを補完してしまう可能性があります。
つまり従来なら、
危険なことをするには
「悪意+高度な専門能力」が必要
だったものが、
「悪意+強力なAI」
で成立する領域が広がる可能性がある。
これは非常に重要な変化です。
実際、2026年の国際AI安全報告書も、オープンウェイトモデルについて、悪意ある利用者が安全機構を除去しやすく、利用状況の監視も難しくなることを明確に問題視しています。
ですから私は、あなたの懸念を「限られた研究者がAGIを少人数もしくは一人で作る危険」と表現するより、
「フロンティアAIがいったん開発された後、その能力が拡散し、国家でさえ統制できない小規模主体の手に渡る危険」
と表現した方が、より正確で、しかも深刻だと思います。
そして、ここから非常に厄介な結論が出てきます。
米中が協調しても問題は完全には解決しません。
しかし同時に、
だから国際協調には意味がないともなりません。
なぜなら、現段階のフロンティアAIを生み出すためには、まだ巨大な計算資源と半導体インフラが必要だからです。
これは逆に言えば、人類にはまだ「ボトルネック」が存在しています。
半導体製造、巨大データセンター、クラウド計算資源、モデルウェイトの保管などです。
したがって政策として重要なのは、「研究者に善意を求める」ことより、
危険な能力が小規模主体へ拡散する前の段階で管理すること
になります。
具体的には、超大規模モデルについて安全性評価を義務づける、危険能力が一定水準を越えたモデルのウェイトを厳格に保護する、盗難対策を国家安全保障レベルに引き上げる、公開したら回収不能なモデルについては公開前の基準を特に厳しくする、といった制度です。
International AI Safety Reportも、オープンウェイトは一度公開すると全面的なロールバックができないため、危険能力を持つモデルについて公開前評価が特に重要だとしています。
そして私は、この問題にはもう一段先があると思います。
8. 最も危険なのは「マッドサイエンティスト」ではなく協調失敗かもしれない
最も危険なのは「マッドサイエンティスト」ではないかもしれない
一人の狂った人間なら、周囲から異常だと認識される可能性があります。
より危険なのは、
本人たちは全員合理的に行動しているのに、全体として破局へ向かう状態
です。
米国企業は、
「中国に負けられない」
中国企業は、
「米国に負けられない」
政府は、
「相手国より先に高度AIを持たなければ国家安全保障上危険だ」
投資家は、
「競争相手より遅れれば企業価値が消える」
研究者は、
「自分がやらなくても誰かがやる」
と考える。
誰一人「世界を滅ぼそう」と思っていない。
それでも全員がアクセルを踏む。
これはゲーム理論でいう協調失敗に近いものです。
最初に登場した研究者が恐れているのは、おそらくこちらでしょう。
だから私は、AIについては二つの危険を同時に考える必要があると思います。
「権力を持った国家や巨大企業が危険なAIを作るリスク」と、「一度作った能力が拡散し、国家の統制外へ出るリスク」です。
そして後者まで考えると、AI規制は単なる「米中で協定を結べば解決」という問題ではなくなります。
むしろ核不拡散に近い。
ただし核兵器よりさらに難しい。
核物質はコピーできません。
ソフトウェアはコピーできます。
ここが、AI安全問題で最も不気味な部分の一つだと私は思います。
そしてもし将来、「数百億円の計算資源が必要だった能力」がアルゴリズム改善によって「数百万円の計算資源」で再現できるところまで下がるなら、あなたのいう「一人の人間でも世界規模の危険を作れるのではないか」という問題は、現在よりはるかに現実的になります。
したがって、AI安全で本当に重要なのは「開発を止めるか否か」だけではなく、
危険な能力がどの時点で“民主化”されてしまうのかを、人類が能力拡散より先に管理できるか
なのだと思います。

__________________________________________