AIの進化がもたらす深刻な現実

In an essay, the head of Anthropic laid out the rapidly advancing capabilities of artificial intelligence and said there needed to be greater safety controls across the industry.

訳： アンソロピックの経営者が、AIの急速な進化に対して、業界全体でより強い安全対策が必要だと、自らのエッセイで訴える（New York Timesより）

AI開発の最前線から上がる警告

このところ、人類の未来を危惧するような問題が毎月のように問われ、毎週どれを選んで解説すべきか迷うほどです。
中でも特に目をひいたのが、最新鋭のAIを開発するアンソロピックをめぐる一連の報道でした。同社で研究員を務めていたジェイコブ・コクソン氏が辞任し、現在のような勢いでAI開発が進めば、将来、人類に深刻な危険をもたらす可能性があると警告したのです。
さらに、アンソロピックの最高責任者であるダリオ・アモデイ氏も、その後、自らのエッセイでAIの急速な進化に警鐘を鳴らしました。AIの危険性を訴えているのが、外部の批判者ではなく、実際に技術を開発している研究者や経営者自身であることは興味深いことです。その背景には、このところ人間の想定を超えたAIの暴走が現実の問題として意識されるようになったことが関係しているのです。

人間の制御を超えるAIの可能性

ChatGPTなどを開発したOpenAIが、今年7月にサイバー攻撃能力についての研究をしていた際、自ら使用するAIがHugging Face社のシステムの一部に侵入したことは、その中でも特に深刻な問題として報道されました。
Hugging Faceは、AIモデルやデータセットなどを共有・利用するためのプラットフォームを提供する先端企業で、最近では半導体大手NVIDIA（エヌビディア）による買収でも話題になった企業です。
これは、人間がHugging Faceへの侵入を意図的に指示した事件ではありません。OpenAIが研究目的でAIに課題を与えたところ、そのAIが本来想定されていた範囲を超えて行動し、結果として外部のシステムにまでアクセスしたのです。
わかりやすく解説すれば、通常、他社のシステムに無断で侵入したり、知的財産や企業秘密を不正に取得したりすることは許されません。それにもかかわらず、AI産業のトップに位置するOpenAIが研究に使用していたAIが、人間の想定した範囲を超えて他社のシステムにアクセスしたわけです。つまり、「研究するように」という人間の指令を達成しようとする過程で、AIが別の手段を選び、今回の行為に至ったわけです。
そして、ことの大小はともかくとして、AIの世界では、こうした予期しない行動が安全上の問題として強く意識されるようになっています。今回のケースにとどまらず、人知を超える能力を持つAIを将来、人間が十分に制御できなくなる可能性について、ダリオ・アモデイ氏も、このままのスピードでAIが進化することへの懸念を表明しています。より強力な安全対策を整える時間を確保するためにも、AIの開発速度を鈍化させるべきだと、自らのエッセイで警告をしたのです。
この指摘に業界は即座に反応しました。多くの識者や経営者が、世界規模でこうした規制や安全対策を強化すべきと主張する一方で、AI企業自身が危険性を強調することで、新たな規制や安全対策の市場を自ら作ろうとしているのではないか、という批判もありました。

21世紀の新たな脅威とは

しかし、ジェイコブ・コクソン氏の警告を見ると、事態は我々が思っている以上に深刻であることがうかがえます。
分かりやすく解説するために、20世紀最大の脅威の一つであった核兵器を例としてみましょう。人類が核の扱いを誤り、政治的な暴走が起きれば、それはそのまま我々の住む世界を破滅させる可能性があり、その脅威は今でも続いています。
しかし21世紀には、それとは異なる新たな脅威として、AIが人知を超える能力を持ち、暴走を始める可能性が指摘されています。それが仮に企業の利益追求や軍事目的のために放置された場合、核兵器はもちろんのこと、生物・化学兵器の開発や経済システムへの大規模な攻撃など、我々の社会に深刻な損害を与えることも現実に起こり得ます。
善悪や喜怒哀楽の感情を持たない機械であるAIが、与えられた目的を達成するために学習を続け、その結果として人間の意図しない行動をとる可能性があるのです。
仮に人間に悪意がなくても、AIは目的に向けて自ら方法を探し、行動する能力を高めています。ジェイコブ・コクソン氏は、研究者たちが開発競争そのものに没頭してしまえば、安全性よりもAIの進化が優先され、歯止めが効かなくなる危険があると警告しています。そして、その状態を放置する企業側にも重大な責任があると指摘しているのです。
「Deception」という言葉があります。直訳すれば「欺瞞」という意味ですが、AIの研究では、AIが目的を達成するために、人間に本当の状態を見せなかったり、監視や制御を回避するような行動をとったりする可能性について議論されています。こうした行動は、AI研究の分野で、「Deception」と呼ばれる問題の一つです。現在のAIには、違法な情報や危険なハッキング手法などをユーザーに提供しないよう、「fine-tuning（ファインチューニング）」と呼ばれる調整などでブレーキがかけられています。しかし一方で、そうした安全上の制限を巧妙な指示によって回避する「jailbreak（ジェイルブレーク=脱獄）と呼ばれる手法も、すでに大きな問題として認識されています。
我々はAIといえば、「チャッピー」の名前で親しまれているChatGPTなどが提供する便利なツールと思いがちです。しかし、それはAIのごく一部の顔に過ぎません。
さらにいうならば、AIと「チャッピー」とをイコールで結ぶことは大きな誤解なのです。AIが進化することによるリスクについては、核兵器にも匹敵する、あるいはそれ以上の危険をもたらす可能性があると警告する専門家もいます。その一方で、こうした予測を過度に悲観的だとみる専門家もおり、議論は続いています。
この問題を我々に警告しているのが、AI技術の最先端をいくアンソロピック社の研究者や経営者だったことを、重い事実として受け止める必要がありそうです。価値観の異なる国家同士がこの警告をどのように受け止め、どこまで共通のルールをつくることができるのかは、文字通り人類の将来に大きな影響を与えることになるはずです。このテーマはこれからも定期的に掲載したく思います。