AIはどこへ向かうのか 中編｜自律化の先で、人間はどこに残るのか――デュアルユースとHuman over the Loop
前編では、SoftBank World 2026で孫正義氏が示した2040年の「ASI Economy」について書きました。
100兆個のAIエージェント、10億台のヒューマノイド、世界GDPの約20％をAI関連経済が占めるという話です。
最初に講演を聞いたときは、いかにも孫さんらしい大きな未来予測だな、くらいに受け取っていました。ただ、ソフトバンクグループの資料なども含めて見直してみると、どうもそれだけではない。
孫さんは2040年を予想しているというより、その世界を前提に、これからソフトバンクグループがどこに投資していくのかを考えているように見えます。
そう考えると、100兆個という数字が当たるかどうかとは別に、この講演はかなり重いなと思いました。
一方で、孫さんの講演について、仕事上でお付き合いのある友人から、「仕事を離れて読むと、オートノマスと戦争という古くて重要なテーマが気になる」というコメントをいただきました。
これが妙に引っかかりました。
「Autonomous」は、見る場所によって意味が変わる
孫さんが描く2040年では、AIエージェントは人間から一つひとつ指示されて動くものではありません。
目的を与えると、自分で作業を考え、必要な情報を取りに行き、ほかのAIともやり取りしながら進める。さらにロボットという身体を持てば、デジタル空間だけでなく、現実の世界でも動き始めます。
企業側から見れば、これはかなり魅力的です。人が細かく指示しなくても仕事が進むからこそ、AIエージェントを導入する意味がある。
ところが「Autonomous」という同じ言葉を軍事の世界に持っていくと、急に話が変わります。
自律型兵器です。
ICRC（赤十字国際委員会）は、自律型兵器について、人間が一つひとつ指示しなくても標的を選択し、攻撃できるようになることを問題にしています。論点の中心にあるのは、武力行使をどこまで人間の統制下に置いておけるか、ということです。
民生では「人間が介在しなくても動く」ことに価値があるのに、軍事ではそこが一番危ない。
この二重性は、考えてみればかなり厄介です。
軍事から民生へ、ではなくなってきた
技術と軍事の関係は昔からあります。
インターネット、GPS、衛星通信、レーダーなど、軍事や安全保障分野で先に使われ、その後に民生へ広がった技術はたくさんあります。
私自身も、なんとなく「軍事で生まれた最先端技術が、時間を置いて民間に降りてくる」というイメージを持っていました。
ところがAIでは、その向きが逆になる場面が増えています。
AI、クラウド、半導体、ドローン、ロボティクスなどは、民間市場の規模が大きく、民間企業同士の競争でどんどん進歩しています。軍事側が、その成果を取り込む。
軍事から民生への「スピンオフ」だけでなく、民生から軍事への逆流が起きているということです。
最近の楽天グループとドイツの防衛テック企業Helsingの件は、身近な例として分かりやすいと思いました。
楽天がHelsingの日本展開を支援していることが報じられ、それを受けて「通販生活」のカタログハウスが楽天市場から撤退しました。楽天の防衛分野への関与が、自社の考え方とは合わないという判断です。
この対応が良いか悪いかは、ここでは置いておきます。
私が気になったのは、楽天のようなEC、金融、通信、モバイルの会社が、防衛テックとも接点を持つようになっていることです。
「軍需企業」と「民生企業」を企業名で分けること自体が、だんだん難しくなっているのだと思います。
技術の側には、用途が書いていない
ドローンは災害時の捜索にも使えますし、荷物も運べます。同じ技術が軍事にも使われます。
画像認識AIも、医療画像の診断補助に使える一方で、監視や標的の識別にも利用できます。
自律走行も同じです。
こうして並べると、民生技術と軍事技術がそれぞれ別に存在しているわけではないことが分かります。同じ技術が、使う人や目的によって別のものになる。
デュアルユースという言葉は以前からありますが、AIが入ってくると、この問題がかなりややこしくなります。
技術を作った時点で用途を固定できないからです。
誰が使うのか、何に使うのか、どこまで自律させるのか。その後にソフトウェアを書き換えられたらどうするのか。
製品そのものだけを見ていても足りません。
では、人間をどこに残すのか
ここで再び孫さんの2040年論に戻ります。
100兆個のAIエージェントが動き、AI同士がやり取りし、ロボットとして現実世界でも活動する。
その世界が本当に来るのであれば、人間がAIの一つひとつの判断を確認することは、おそらく無理です。
AIガバナンスでは、Human in the Loop（HITL）という言葉をよく聞きます。
AIだけに最終判断をさせず、途中に人間を入れる。AIが候補を出し、人間が確認するという形です。
今の段階では、とても重要な考え方だと思います。
ただ、100兆個は極端としても、人間よりはるかに多くのAIエージェントが、人間より速い速度で相互に動くようになったらどうなるのか。
全部に人間が承認を出していたら、そもそも自律型AIを使う意味が薄れてしまいます。
ここで少し考え方を変える必要があるのかもしれません。
Human in the Loopだけではなく、Human on the Loop、さらにHuman over the Loopという考え方があります。
Human on the Loopは、AIは動かしつつ、人間が監視して必要なときに止める。
Human over the Loopは、個別の判断を全部見るのではなく、AIに何をさせるのか、どこまで権限を渡すのか、何を禁止するのかといった枠組みを人間が決めておく考え方です。
2040年の話を考えるなら、こちらの比重がかなり大きくなる気がします。
全部を人間が判断する、ではたぶん回らない
では何をAIに任せて、何を人間が持っておくのか。
これは簡単には決められません。
ただ、例えば「間違ったときの影響がどれくらい大きいか」「後から取り消せるか」という見方は使えそうです。
おすすめの映画をAIが間違えても、まあ困りません。
一方で、融資を断る、治療方法を決める、採用を拒否する、武力を行使する、といった判断は話が違います。判断をやり直せば済むものもあれば、後から戻せないものもあります。
そういう違いを見ながら、人間の関与の度合いを変える。
今のところ、私にはそのくらいの考え方しか思い浮かびません。
ただ、「AIができること」と「AIに任せてよいこと」は同じではない、という区別は残しておいた方がよさそうです。
Human in the Loopを付ければ終わり、でもない
さらにデュアルユース技術の場合、製品を出荷した後の問題があります。
開発時には人間の承認を必須にしていても、利用者がソフトウェアを書き換えるかもしれません。
当初は民生目的だったものが別の用途に使われることもあります。
AIエージェントが別のAIに仕事を任せ、その先で何が起きているのか開発者にも見えにくくなることも考えられます。
そうなると、製品の中にHITLを入れておけば終わり、とはならない。
設計時だけでなく、使われている間やアップデート後まで含めて考えないといけないのでしょう。
このあたりは、まだかなり手探りの話だと思います。
「羅針盤」という言葉を使ったけれど
前編の最後に、AIを動かす半導体やデータセンターと同じように、自律化するAIを統制するための「羅針盤」も必要ではないか、と書きました。
ただ、考えてみると、羅針盤はどこかに落ちているものではありません。
自分たちで作る必要があります。
何をAIに任せるのか。何は人間が手放さないのか。その境目を決めて、実際のシステムや運用に入れておく。
異常があれば止める。あとから何が起きたか確認できるようにする。用途が変われば、もう一度判断する。
書いてみると当たり前のことばかりですが、その当たり前を100兆個のAIが動く世界でも機能させるのは、たぶん簡単ではありません。
Human in the Loopは、その仕組みの一つです。
でも孫さんが描く2040年まで考えるなら、それだけでは追いつかない。人間がすべての判断に入るのではなく、AIが動ける範囲そのものを人間が決める。Human over the Loopという考え方が出てくるのは、そのためだと思います。
前編を書いたときは、「人間をどこに残すのか」という問いを置きました。
今のところの私の答えは、全部の判断に人間を残すのではなく、どこから先はAIに渡さないかを決める側に人間が残る、というあたりです。
これで十分なのかは、まだ分かりません。
それに、もう一つ問題があります。
こうした仕組みを作るには時間がかかりますが、AIの開発速度はかなり速い。
最近になって、AI開発の最前線にいる人たち自身からも、能力向上の速度と安全対策の速度を合わせた方がよいのではないか、という話が出てきました。
開発を止める、という話とは少し違います。
人間側が追いつくための時間をどう作るか。
次は、この「ペーシング」という考え方について書いてみようと思います。
