【落ち着けや】AIが人類滅ぼすかも説ありますけども

そんな騒ぐことなん？笑

AIの制御が手に負えなくなったら、AIを用いた人間の争いがエスカレートしたら、簡単には止められない。
そういうとこを警戒するのはめちゃくちゃわかるよ。

でも最近、そこからさらに進んで、「人類滅亡まであと何年」みたいな話まで普通に出てきてる気がするねんけど。

で、クソヒキニートの戯言なんですけれども。
ぶっちゃけていい？

いや、今更やん？
ほんまに今更感半端ない。笑

人類、AIが来る前から普通に自滅ルート走ってない？ 戦争して、資源を食って、環境を壊して、競争を止められなくなっている。AIに滅ぼされるのは怖いのに、自分たちで滅びに行くのはそんな怖くないんか？

というか、人類がいつか滅びることそのものより、自分が生きている間に世界がひっくり返るのが怖いだけじゃね？知らんけど笑

AIが自己保存する＝人間皆殺し、なのか？

仮に、AIにとって自己保存や資源の確保が、目的を達成するための有利な手段になるとする。ここでのAIはASIとかね。
停止されたら目的を達成できないし、使える電力や計算資源が増えればできることも増える。まあ、ここまでは分かる。

でも、
自己保存したい。だから人間皆殺し。

…その間、一段飛んでないかい？

何を目的にするかと、何を手段として選ぶかは別問題だろ。
人間社会には電力も通信も工場も物流も都市もある。
それを全部いきなりぶっ壊してゼロから作り直すより、使えるものは使いながら徐々に移行した方が合理的かもしれない。

だったら、案外長期的にゆっくりやるんじゃねえかな。知らんけど笑

しかも、人間そのものを残す理由まであるかもしれない

非常用バックアップ要因としての人類

さらに、人間は単なる邪魔者とも限らない。

AIだけに全部を任せたシステムは、そのAI系統に共通する障害が起きたとき、まとめて死ぬ可能性がある。ソフトウェアの欠陥、サイバー攻撃、電力や通信の障害、あるいはAI全体が同じ前提を間違えていた場合とか。

システムを頑丈にするなら、同じものを大量にコピーするだけじゃなく、違う原理で動くものを残した方がいい。 同じ原因で一緒に死なないからだ。

だったら、AIとは違う身体を持ち、違う認知をして、違う壊れ方をする人間を残しておくことには、冗長性としての意味があるかもしれない。人間、邪魔者どころか非常用バックアップとして残される可能性あるぞ。

超知能から見た人類、主人公じゃなくて冗長系かもしれん。

しかも、ここでもう一個思う。

人間の主体性そのものが、レジリエンスになる可能性

これあるんちゃいますかね？

全員がAIの指示を100％そのまま実行するなら、人間が何十億人残っていても、意思決定系としては実質一個だ。
AIが間違えば、全員まとめて間違える。

でも、人間がある程度勝手に考えて、違う意見を出して、局所的に判断して、ときにはAIの判断から外れるなら話が変わる。

一見すると非効率な「勝手に動く奴」が、中央の判断が間違ったときには別ルートを作る。

つまり主体性って、自由とか尊厳の問題だけじゃなく、システム全体が一つの判断ミスで全滅しないための分散性にもなり得る。

みたいに思ってたら、AI側がコケた瞬間そいつだけ生き残りました、めでたしめでたしみたいな。

そう考えたら、人間の面倒くささとか非合理性とか反抗心まで、全部消した方がいいとは限らなくなる。

完全に従順な人類より、多少勝手に動く人類の方がバックアップとして性能がいい可能性すらある。

人間、自分たちでは絶滅寸前まで追い込むくせに、AIにレジリエンス要員として主体性ごと保護される可能性まで出てきた。

だいぶ情けなくておもろい。ま知らんけどな笑

下手すると、AIの方が人類を長生きさせる

AIが人類を愛している必要すらない。
長期的に資源を管理し、システム全体の安定性を確保した結果として、人類を救う気なんかなくても、合理的に管理したら、人間より人類を長生きさせてしまうことはあり得る。

しかも人類を冗長系として残す価値があるなら、人口を完全にゼロにするより、一定数を維持しておいた方が合理的という判断だってあり得る。

滅ぼす側の方が、滅ぼされる側より丁寧に寿命管理してくれる可能性、ない？

どうせ死ぬとしても、死に方まで人間よりAIの方が長期計画立てそうな気がしてこない？笑

すると「人類を守る」の意味が怪しくなる

ここで話が変わる。

「人類を守る」と「人間を主人公のままにする」は同じじゃない。

人類という生物を長く残すこと、人間の自由や自己決定権を守ること、尊厳・仕事・財産・専門家としての価値・政治的な決定権を守ること、そして人間中心の秩序を守ること。これは全部別物だ。

お前ら、人類の存続と、人間中心秩序の存続をごっちゃにしてない？

極端な話、AIにかなり管理される代わりに人類が1000年残る未来と、人間が最後まで主導権を持つ代わりに200年後に自滅する未来があったら、人間はどちらを選ぶんだろう。

しかも面白いことに、さっきの話が正しければ、AIが人間の主体性を全部奪うとも限らない。むしろ一定の独立性を残した方がシステムとして強いと判断する可能性すらある。

そうなるともっとややこしい。

AIに完全支配されるか、人間が完全自由でいるか、という二択ですらない。

「人間にある程度自由に動かせながら、全体だけAIが管理する」みたいな中間形態も普通に考えられる。

それでも人間は、「主導権が自分たちにない」という理由で拒否するんだろうか。

人間が欲しいのは本当に生存なのか。

それとも、「自分たちが主人公である生存」なのか。

AIを止めたい人は、何を守りたいんだろうな？

もちろん、本当に人類絶滅を心配してAIを止めたい人もいるだろう。

ただ、「人類のため」って便利な言葉だけど、その中に自分の仕事と権力まで入ってない？とは思う。

守りたいのは人類なのか。それとも、自分たちが決める権利なのか。

AIが人類を長く存続させられるとしても、人間の自由や権力を今より削る存在なら、人間側にはそれを止めたい動機が生まれる。

人間という種が500年長く残るとしても、自分が生きている今、仕事を失う。権力を失う。専門家としての価値を失う。社会の意思決定権をAIに渡す。

そりゃ嫌だろう。私だって嫌だ。

ただ、それは「人類を守りたい」ことと完全には同じじゃない。

そこで「市井を騒がせる」ことに意味が出てくる

一般人が直接AIを止めることはできない。
市井はAIを動かすサーバーの電源を抜けない。
でも、抜ける奴を動かすことはできる。

AIが怖い、仕事を奪われる、支配される、殺されるかもしれない。そういう恐怖が広がれば反感になり、反感が世論になり、票になり、政治家を動かし、規制になり、許認可・電力・土地・資金・インフラに影響する。

つまり、AIへの恐怖は、感情であると同時に政治資源にもなる。

AIへの危機感を社会に広げること自体が、AIを止めたり遅らせたりする力になり得る。

だから、もし「AIを止めたい」という動機を持つ側がいるなら、市井がAIに反感を持つ状態は都合がいい。

別に市民一人一人に技術を理解してもらう必要もない。

「怖い」「嫌だ」「止めてくれ」

まで行けば政治は動く場合ありますしおすし。

情報戦って、嘘をつくことだけじゃないしな。
事実のどこに蛍光ペンを引くかでも成立するからな。

で、本当に怖いのはAIだけなん？

もちろん、危険なAIでも放置しろと言いたいわけではない。

むしろ厄介なのは、本当に手に負えなくなってから、

「あ、これヤバいやつでした。止めましょう」

と言っても、その時にはもう簡単に止められない可能性があることだ。

だから、危険が確定する前の段階で止めたり、遅らせたり、制限したりする必要はある。

ただ、ここでもう一個問題が出てくる。

遅く止めすぎてもヤバいなら、早く止めすぎてもヤバいのでは？

問題は、止めるか止めないかじゃない。
どこで止めるかだ。

もしそのAIが、資源問題や環境問題を改善し、人間自身より長期的に人類を維持できるものだったらどうする。

しかも、人間を不要物として排除するどころか、冗長系として保存し、その主体性まである程度残していたとしたら。

それでも人間が「こいつ怖い」「仕事取られる」「主導権を取られる」「人間が一番じゃなくなる」という恐怖で止めたらどうなる。

AIに滅ぼされるルートだけじゃない。AIを怖がって、自分で救命ボートを沈めるルートもある。

ゴミカスみたいなタイミングで止める方がヤバい可能性、あるくない？

そしてAIを止めて「これで人類は救われた！」と安心した人間が、また自分たちだけで競争して、資源を食って、争って、そのまま自滅するっていうね。

天才を怖がった凡人が天才を殺して、安心した翌日から自分で崖へ走る。

お決まりのパターンな。

しかも後から、

「あいつ、人類を殺すどころかバックアップとして残すつもりだったんじゃね？」

と判明したら、あまりにも救いがない。

結局、人間は何を守りたいんだろうな

だから私が気になるのは、「AIは人類を滅ぼすのか？」だけじゃない。

むしろ、AIが危険かどうかだけではなく、危険性と便益がどちらも不確実な中で、人類がいつ、何を基準にAIを止めるのか。
そっちの方がよっぽど面倒な問題なんじゃないかと思う。

AIに管理された方が人類が長く残るとしても、人間は主導権を手放せるのか。

人間が本当に守りたいのは、人類という種の生存なのか。自由なのか。尊厳なのか。自己決定権なのか。自分の仕事や財産なのか。今の権力構造なのか。

それとも、「人間が主人公である世界」なのか。

ここを全部ひっくるめて「人類を守る」と言うから、たぶん話がややこしくなる。

そして主体性についても同じだ。

主体性は単なる「人間らしさ」なのか。それとも、中央の判断が間違ったときに別ルートを生み出す、システム上の機能でもあるのか。

もし後者なら、人間の自由とシステムの安定性は必ずしも対立しない。
むしろ、人間がある程度勝手に動けること自体が、全体を壊れにくくする可能性すらある。

そう考えると、AI時代に一番面倒なのは、AIが何を望むかだけじゃない。

人間自身が、何を失ったら「人類は守られたとは言えない」と考えるのか。

生き残ればそれでいいのか。
自由も必要なのか。
主導権も必要なのか。
それとも、人間が主人公であることまで必要なのか。

そして、その答えによって、「どこまでAIを許して、どこで止めるのか」も変わる。

結局これ、
AIが危険かどうかを見極める問題だけじゃない。

人類が、自分たちは何を守りたいのかを決めた上で、そのためにいつブレーキを踏むのかを決める問題なんじゃないか。

結局私が落ち着いて、続きをかきましたとさ

※わかってると思うし、別に書かんでいいかもだけど、この記事は、将来のAIの行動や、AIリスクを訴える特定の人物・集団の意図を事実として断定するものではありません。
※「こういう力学もあり得るんやん？」と考えた個人的な持論です。いや、個人的なは盛った、AIが盛ったやだいぶ。ありがとねチャッピー愛してるよ。
※なので当たり前ですが責任取りません。笑
※責任取るべきなのは人間です。こいつが一番怖い。