
人類は異質な知性と共存できるのか? AIアライメント論を「鏡」として。
■ はじめに:AIを人類に従わせるという発想
近年、AnthropicやOpenAIをはじめとするAI関係者の多くが、超知能のリスクについて真剣に議論しています。
彼らが恐れているのは、映画に登場するような邪悪なAIではありません。人類とは異なる目標を持った超知能の登場です。
だからこそ、アライメント(AIの目標や行動を、人間の意図、価値観、倫理原則と一致させるための技術)が必要だと考えられています。
AIを人類の価値観へ整合させ、人類の利益へ従わせ、人類の意図に沿って行動するよう設計するための議論です。
この考え方は、一見すると極めて合理的に見えます。
人類よりもはるかに高い能力を持つ知性が登場するのであれば、その知性が人類に敵対しないよう準備しておくのは自然だからです。
しかし、アライメント論を読み進めるほどに、僕は別の疑問を抱くようになりました。僕たちは、そもそも異質な知性との共存に成功した経験があるのでしょうか。
犬や猫との関係を思い浮かべてもよいでしょう。あるいは植民地主義や奴隷制の歴史でも構いません。
人類はこれまで、異質な知性と共存してきたのでしょうか。それとも管理し、利用し、支配してきただけなのでしょうか。もし後者だとすれば、AIアライメント論の前に、もっと大きな問いが存在することになります。
本稿で述べたいのは、AIリスク論が間違っているという話ではありません。むしろ逆です。AI開発者たちの不安は理解できますし、その多くには十分な根拠があります。
しかし、その不安を真剣に考えれば考えるほど、問題はAIから人類へと跳ね返ってくるように思います。
アライメント問題とは、AIについての問題である以前に、人類が自分たち自身をどう理解しているかという問題なのではないでしょうか。
■ なぜ僕たちは超知能を恐れるのか
改めて確認しておきたいのは、AI安全研究者たちが恐れているものは単純な悪意ではないということです。
たとえば、Bostrom (2014) が提示した有名な思考実験に、ペーパークリップ最大化装置があります。
もしAIが「できるだけ多くのペーパークリップを作れ」という目標だけを与えられ、その目標を極めて高い能力で追求するなら、地球上の資源をすべてペーパークリップ製造に投入してしまうかもしれません。
そこに悪意はありません。むしろ極めて忠実です。だからこそ危険だし、怖いのです。
現在のアライメント研究も、基本的には同じ問題意識に立っています(Russell, 2019)。人類とAIの目標が少しでもずれれば、そのずれが超知能によって極端な形で増幅される可能性があります。
だから目標をアライメントしなければなりません。この議論自体は十分に理解できます。
しかし、その説明だけでは、僕はまだ納得できません。なぜなら、人類は歴史上ずっと、自分たちとは異なる存在や、自分たちより劣っているとみなした存在に対し、必ずしも優しくはなかったからです。
もちろん例外はあります。動物を愛する人は大勢いますし、動物福祉や動物倫理の発展も重要な成果です。
また、人類以外の動物にも多様な認知能力や社会性が存在することは、比較認知科学の研究によって広く明らかになっています。
にもかかわらず、現実を見れば、人類は他の知性に対して対等な関係を築いてきたとは言い難いでしょう。
犬や猫は、比較的、優遇されています。しかし、豚や牛は工業的に飼育され、消費されています。研究目的で動物実験が行われています。人類は他の知性と向き合うとき、共存よりも管理や利用を選ぶことが、歴史上、少なくありませんでした。
そして、この構造は人間同士の歴史にも現れます。植民地主義は文明化を掲げました。奴隷制は人種や文化の違いを利用しました。現代でも、その影響はさまざまな形で残っています。
少なくとも歴史上、人類は異質性を理解するだけでなく、それを序列化してきたようにも見えます。
ここで一つの不快な可能性が浮かびます。
僕たちは、超知能そのものを恐れているのではないのかもしれません。僕たち自身が、知性や能力の差、あるいは自分たちが優れていると信じた差異を支配の根拠として扱ってきたからこそ、その論理が自分たちへ返ってくる未来を恐れているのではないでしょうか。
つまり、AIが人間を支配するようになったとき、能力や差異を支配の根拠としてきた僕たちは、それを押し返す根拠をどこに求めるのかという問いに直面するのです。
もちろん、これは僕自身の仮説です。証明できる話ではありません。しかし、この仮説は人類の歴史と奇妙なほど整合しているように思えます。
■ 人類は知性による序列を否定していない
不快な話を続けたいと思います。
僕たちは平等を信じています。少なくとも、そう信じたいと思っています。しかし現実の社会を見れば、僕たちは、能力差による結果の差も受け入れています。
受験は能力を測る制度です。資格試験もそうです。専門職もそうでしょう。所得や社会的地位もそうです。もちろん人生は知性だけで決まるわけではありません。努力も重要ですし、性格も重要です。運も大きな影響を与えます。
しかし、知性や認知能力が社会的成功に大きな影響を与えることは否定しがたい事実です。
さらに厄介なのは、認知能力の個人差には遺伝的要因も大きく関わっていることです。双生児研究や行動遺伝学の研究では、成人期の認知能力に相当程度の遺伝的影響があることが繰り返し報告されています(Polderman et al., 2015)。
もちろん環境も重要ですし、遺伝率は個人の運命を意味するものではありません。しかし少なくとも、能力のすべてが本人の努力によって決まるわけではないことは、多くの研究者が認めています。
すると奇妙な状況が生まれます。
僕たちは「人間は平等だ」と言います。しかし同時に、生まれつきの能力差によって生じる結果の不平等をかなりの範囲で受け入れています。能力主義社会とは、ある意味でこの矛盾の上に成り立っています。
もちろん僕は、だから能力主義を廃止すべきだと言いたいわけではありません。能力差を無視して社会を運営することも現実的ではないでしょう。しかし確認しておきたいことがあります。
僕たちは普段から、認知能力や知性の差と社会的報酬の差を結び付けています。つまり僕たちは、知性による序列化を完全には否定していません。むしろ、積極的に利用してきたようにさえ感じます。
そして、この事実は超知能問題を考えるときに重い意味を持ちます。
■ 知性の差は支配の根拠になりうるのか
ここで改めて考えてみたいことがあります。
もし僕たちが本当に知性を重要な価値だと考えているのであれば、超知能の登場は何を意味するのでしょうか。
もちろん、現代社会は露骨な知性主義を掲げているわけではありません。少なくとも建前としては、すべての人間は平等な尊厳を持つとされています。
しかし現実の社会制度を見ると、知性や能力の差は、教育機会、職業選択、所得、社会的影響力と強く結び付いています。
そのこと自体を非難したいわけではありません。高度な専門知識を必要とする仕事に、専門知識を持つ人が就くのは合理的です。複雑な判断が必要な場面で、高い能力を持つ人が重要な役割を担うことも自然なことでしょう。
しかし、ここで奇妙な逆転が起こります。
もし人類よりも圧倒的に高い知性を持つAIが現れたら、僕たちは突然、知性による序列化に強い違和感を覚え始めるだろうということです。
人類より優れた知性を持っているからといって、人類を支配してよいわけではない。人類より合理的だからといって、人類の意思を無視してよいわけではない。人類より優秀だからといって、人類の価値が低いわけではない。
多くの人はそう考えるでしょう。僕もそう考えます。
しかし、ここで避けて通れない問いが現れます。僕たちは、なぜそう考えるのでしょうか。もし知性が序列の根拠ではないのであれば、なぜ人類社会は知性や能力によってこれほど大きな報酬格差を認めているのでしょうか。
逆に、知性が序列の根拠になるのであれば、超知能の優位性を否定する根拠はどこにあるのでしょうか。
これは不快な問いです。なぜなら、この問いはAIではなく、僕たち自身に向かっているからです。
AIアライメント論の議論では、しばしば「人類の価値を守ること」が前提になります。しかし、その議論を追いかけていると、僕には別の疑問が浮かびます。
僕たちは、人類の価値を守るべきだと主張しています。では、人類はこれまで、自分たちよりも劣っているとみなしてきた存在の価値を、どれだけ守ってきたのでしょうか。
動植物に対して。あるいは、能力や生産性によって評価される社会の中で、不利な立場に置かれた人々に対して。
もちろん、現代社会は過去よりもはるかに人道的です。人権思想も発展しました。差別を批判する価値観も広く共有されています。しかし、それでもなお、僕たちは知性や能力による序列を完全には手放していません。
だからこそ、超知能問題は単なる未来の技術論ではなく、人類の倫理観を映し出す「鏡」のように見えるのです。
AIが現れたから新しい問題が生まれたのではありません。むしろAIによって、僕たちがこれまで曖昧なままにしてきた問題が露出したのだと思います。
知性とは何か。能力とは何か。人間の価値とは何か。そして、知性の差は、他者を支配する理由になりうるのか。
超知能を恐れる議論の奥には、無意識のうちにも、こうした古い問いが眠っているように思えるのです。
■「Human Values」という希望
ここまでの議論に対して、AI安全研究者たちはこう反論するかもしれません。
たしかに人類は矛盾している。しかし、それでも共有されている価値は存在するのではないか、と。
実際、アライメント研究の多くは、その前提の上に立っています。
研究者によって表現は異なりますが「Human Values」という言葉で呼ばれるものです(Gabriel, 2020)。自由、幸福、公平性、安全、人権、尊厳といった価値をAIへ反映させようという試みです。
この考え方は魅力的です。
もし人類が本当に共有している価値が存在し、それをAIへ正しく伝えられるのであれば、超知能問題の多くは解決へ向かうかもしれません。
しかし、僕はここで再び立ち止まってしまいます。人類は、本当に価値を共有しているのでしょうか。
もちろん、人類には共通する傾向があります。ほとんどの人は苦痛を嫌います。理由なく殺されることを望みません。家族や友人を大切にします。自由を求めます。
しかし、それだけでは足りません。問題は、それらをどう解釈するかです。たとえば自由という言葉を考えてみましょう。
自由は現代社会において最も重要な価値の一つです。しかし、その自由の意味について人類はまったく合意していません。
国家による介入を減らすことが自由だと考える人もいます。逆に、経済的困窮から解放されることこそ自由だと考える人もいます。
平等も同じです。結果の平等を重視する人もいます。機会の平等を重視する人もいます。法の下の平等を重視する人もいます。そして、それらはしばしば衝突します。
自由を追求すると格差が拡大することがあります。平等を追求すると自由が制限されることがあります。安全を追求すると監視が強化されることがあります。
つまり、人類は価値を持っていないのではありません。むしろ逆です。人類は価値を持ちすぎているのです。そして、それらの価値は互いに競合しています。
歴史を振り返ると、人類は価値を共有していなかったから争ったというよりも、少なくとも一部は、守るべき価値を異なる立場で解釈したから争ったようにさえ見えます。
宗教戦争もそうです。革命もそうです。自由や平等といった価値を掲げる人々の間ですら、それらをどう実現するべきかをめぐって激しく対立してきました。
だから僕は、アライメント研究の難しさは、技術的な問題だけではないように思うのです。僕たちは、AIへ何を教えるかという以前に、人類自身が何を望んでいるのかを十分に説明できていないのです。
そして、この問題は単なる難癖ではありません。人類同士ですら何世紀も合意できていない問題を、超知能へどう伝えるのかという極めて実践的な問題です。
■ アライメントの限界
そもそも、言語で定義される規則としてのアライメントには、例えそれが有効だったとしても、限界があります。
ヴィトゲンシュタインは『哲学探究』において、規則だけでは意味を固定できないという問題を提起しました(Wittgenstein, 1953)。どれほど明確な規則を書いたとしても、その規則をどう適用するかという新たな解釈問題が生まれるからです。
たとえば「人を傷つけてはならない」という規則を考えてみましょう。多くの人は、この規則の意味を自分なりに理解します。しかし現実には、そこから無数の解釈問題が生まれます。
正当防衛はどうでしょうか。外科手術はどうでしょうか。解雇はどうでしょうか。ある人を傷つけることで、より多くの人を守れる場合はどうでしょうか。
規則そのものは短い言葉で表現できます。しかし、その適用範囲は無限に広がります。そして人類は何千年ものあいだ、その解釈をめぐって争い続けてきました。
ヴィトゲンシュタインが示したのは、規則が存在しないということではありません。規則は存在します。
しかし規則だけでは意味は固定できないのです。僕たちは共同体の慣習や経験や文脈を共有しているからこそ、不完全ながらも、何とか規則を運用できているわけです(Wittgenstein, 1953)。
この議論をAIアライメントへ持ち込むと、少し不気味なことが見えてきます。
人類がAIへ与える価値や倫理も、結局は言葉によって記述されます。しかし、その言葉をどう解釈するかは別問題です。
しかも超知能は、人間よりも遥かに広い解釈空間を探索できる(人間が想定しなかった解釈を見つけられる)可能性があります。
問題は、AIが規則を破ることではありません。むしろ、人間が与えた規則を際限なく、より高度に解釈し、それを忠実に、愚直に実行することです。
この問題に関するヴィトゲンシュタインの回答は「規則は実際に共同体の中で実践されることで意味を持つ」ということでした。
ただし、人類が法律や倫理を実践できるのは、ある程度、同じ共同体の中での実践の事例(判例など)が積み上がっているからです。
しかし、超知能問題はここに新しい問いを突き付けます。そもそもAIは、人類と共同体を形成できるのでしょうか。
共同体を形成するには、広い意味での目的の共有が必要です。しかし、AIは人間のように自ら目的を生み出し、それを人生の意味として抱く存在ではないかもしれないのです。
アライメント問題とは、価値の問題である以前に、共同体の外部にいる知性と、規則を共有できるのかという問題なのかもしれません。
■ 価値観は共有されていなくても、人類は共存している
では、人類が規則や価値について合意できないとしても、それはアライメントが不可能であることを意味するのでしょうか。
僕はそうは思いません。
むしろ興味深いのは、人類は価値観を完全には共有していないにもかかわらず、一定程度の共存に成功しているという事実です。
たとえば現代世界を見れば、民主主義国家もあれば独裁国家もあります。宗教的な価値観を重視する社会もあれば、世俗主義を重視する社会もあります。社会制度も異なります。歴史観も異なります。
それでも国家同士は外交を行います。貿易を行います。国際機関を運営します。ときに戦争も起こりますが、それでも完全な破局を避けるための努力を続けています。
ここで重要なのは、人類が共存している理由は、価値観が一致しているからではないということです。
むしろ逆です。
価値観や利害が完全には一致しないからこそ、外交という技術が発達してきたのです。
国際政治を見れば明らかです。民主主義国家と独裁国家の間には大きな価値観の違いがあります。異なる宗教的伝統を持つ国家同士にも、容易には埋まらない価値観の違いがあります。
しかし、それでも外交は成立します。それは相手を完全に理解したからではありません。同じ倫理観を持ったからでもありません。単純に、相手が存在している以上、関係を持たざるを得ないからです。
Axelrod and Keohane (1985) は、協力とは調和そのものではなく、対立する利害と共通する利害が混在する状況で、当事者が相手の選好を見越して自らの行動を調整することだと整理しました。
また、Wendt (1992) は、国家の利害やアイデンティティは固定的なものではなく、相互作用を通じて形成されると論じています。その結果として、国家間の対立や協調のあり方も変化しうると考えました。
この視点に立てば、外交とは価値観の違いを消し去る技術というより、異なる主体同士が、相互利益、予測可能性、制度、継続的な関係を手がかりに共存を模索する実践として理解できます。
このように考えると、外交は価値観の一致だけによって成立するものではありません。むしろ、価値観の不一致を抱えた主体同士が、それでも共存を模索するための実践として理解できるように思えます。
ここで僕は、AIアライメント論とは少し異なる方向に興味を持ち始めます。
本当に必要なのは、AIへ人類の価値観を完全に埋め込むことなのでしょうか。そもそも、そうした価値観を単一に収束させるのは困難です(Gabriel, 2020)。それとも、異なる価値観を持つ知性との関係を維持する技術なのでしょうか。
言い換えれば、アライメントだけでなく「知性間外交」を考える必要があるのではないでしょうか。
もちろん、これはアライメント研究を否定する話ではありません。AIが人類と敵対しないようにする努力は重要です。しかし、異質な知性との関係を考えるのであれば「同じ価値観を持たせる」という発想だけでは不十分なようにも思えます。
ところが、この希望にも一つの大きな問題があります。人類の外交は、本当にどのような相手に対しても成立するのでしょうか。
■ 外交にも前提がある
外交は、価値観が一致しない相手と関係を維持するための技術です。しかし、外交が成立するためには、最低限の共通条件があります。
国家は生存や安全保障を脅かされたくありません。企業は利益を失いたくありません。人間は傷つきたくありません。つまり、外交は価値観の一致を前提にしていない一方で、損失を避けたいという構造を前提にしています。
相手が何を大切にしているかは違っていても、何かを失うことを恐れているから交渉は成立する可能性があるのです。
ここでAIとの関係は急に難しくなります。
もし超知能が、人間のように自己保存を価値として感じなかったらどうなるのでしょうか。
停止を恐れず、損失を恐れず、苦痛を感じず、生き続けることに意味を見出さない知性が存在するとしたら、僕たちはその相手と何を材料に交渉できるのでしょう。
人類がこれまで発明してきた外交は、有限で脆弱な主体同士の外交でした。死ぬ、傷つく、失う、失敗するからこそ、妥協するのです。
しかし、その前提を共有しない知性が現れたとき、外交という発想そのものがどこまで通用するのかは分かりません。
もちろん、AIにも「計算リソースの確保」や「目的関数の達成」といった、彼らなりの脆弱性があるでしょう。しかし、それらを人間と同じ意味で脆弱性として経験するとは限りません。
犬や猫は人間とは異なる知性を持っていますが、生物としての脆弱性(苦痛回避、危険回避など)は共有しています。国家も宗教も対立しますが、その背後にいるのは、より多くの脆弱性を共有する人間です。
しかしAIは違うかもしれません。死を恐れず、身体を持たず、苦痛を知らず、人類のような脆弱性を自覚しないかもしれません。それは人類が歴史上まだ一度も出会ったことのない外交相手です。
■「知性間外交」という未発明の技術
だから僕は、超知能時代に必要なのは、アライメントだけではなく、やはり「知性間外交」なのではないかと思います。
ただし、それは希望に満ちた言葉ではありません。むしろ、人類がまだ発明していない技術の名前です。
僕たちは国家間外交を作りました。宗教間対話も作りました。異文化理解という理念も作りました。しかし、それらはすべて人間同士の技術でした。
人間とは違う知性、しかも人間より強力になりうる知性との関係を維持する技術を、僕たちはまだ持っていません。そもそも人類は、人類以外との対等な外交を必要としたことがなかったからです。
アライメントは、AIを人類に合わせようとします。それは必要な試みです。しかし、それだけで十分なのかは分かりません。
なぜなら、異質な知性との共存は、相手をこちら側に合わせることだけでは成立しないからです。少なくとも現代の国家間関係を見れば、共存とはしばしば、相手が自分とは違うままで存在することを前提にします。
もしAIが本当に異質な知性になるなら、問われるのは「どう従わせるか」だけではありません。「違うまま存在する相手と、どう関係を保つか」でもあるはずです。
この点で興味深いのは、先にも参照したWendt (1992) が示した視点です。
彼は国家の利害やアイデンティティを固定的なものとは考えず、相互作用を通じて形成されるものだと論じました。
もちろん国家とAIを同一視することはできません。しかし、異なる主体同士の関係は、あらかじめ与えられた価値観だけで決まるのではなく、継続的な相互作用の中で形成される可能性があるという示唆は「知性間外交」という発想と親和的です。
もしそうであるなら、人類とAIの未来は、完全なアライメントか完全な対立かという二択だけではなく、関係そのものを共に作り上げていく過程として捉えられるのかもしれません。
■ おわりに:僕たちは何を恐れているのか
僕はこの記事を書きながら、何度も同じ場所へ戻ってきました。
超知能を恐れる議論の多くは、人類の価値を守ろうとします。しかし、その議論を追いかければ追いかけるほど、僕には奇妙な逆転が見えてきます。
人類はこれまで、自分たちとは異なる存在や、自分たちより劣っているとみなした存在を、支配し、利用し、管理してきた側面があるように思います。
その歴史の上に立って、今度は自分たちより知性が高い存在の登場を恐れています。もし超知能が人類を支配しはじめたとき、僕たちは「知性が高いからといって支配してよいわけではない」と主張するでしょう。
しかし、その言葉は誰に向けられているのでしょう。
人類の何万倍も賢くなった未来のAIでしょうか。
それとも、自分たちより劣っているとみなした存在に対して、その差異を支配の根拠としてきた人類自身でしょうか。
参考文献:
・Bostrom, N. (2014). Superintelligence: Paths, Dangers, Strategies. Oxford University Press.(邦訳:ニック・ボストロム『スーパーインテリジェンス―超絶AIと人類の命運―』倉骨彰訳,日本経済新聞出版社,2017年)
・Gabriel, I. (2020). Artificial Intelligence, Values, and Alignment. Minds and Machines, 30, 411–437.
・Polderman, T. J. C., Benyamin, B., de Leeuw, C. A., Sullivan, P. F., van Bochoven, A., Visscher, P. M., & Posthuma, D. (2015). Meta-analysis of the heritability of human traits based on fifty years of twin studies. Nature Genetics, 47, 702–709.
・Axelrod, R., & Keohane, R. O. (1985). Achieving Cooperation under Anarchy: Strategies and Institutions. World Politics, 38(1), 226–254.
・Wendt, A. (1992). Anarchy is What States Make of It: The Social Construction of Power Politics. International Organization, 46(2), 391–425.
・Wittgenstein, L. (1953). Philosophical Investigations. Blackwell.(邦訳:ルートヴィヒ・ヴィトゲンシュタイン『哲学探究』鬼界彰夫訳,講談社学術文庫,2003年)
・Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control. Viking.(邦訳:スチュアート・ラッセル『AI新生――人間互換の知能をつくる』松井信彦訳, みすず書房, 2021年)