もしアシモフが2026年を見たら — 「殺すAI」にどんな原則を課すだろうか
WebマガジンGreenPost
殺傷可能なフィジカルAIに必要な「2026年版・アシモフ8原則」
もし、アイザック・アシモフが2026年まで生きていたら。自分が小説の中で考え続けた「ロボット」が、文章や画像を作るだけのAIではなく、現実の空を飛び、地上を走り、人間を探し、追跡し、物理的な力を加えるフィジカルAIへ変わった世界を見たら。
そして、そのAIに銃、ミサイル、爆薬が接続され、人間を殺せるようになった世界を見たら。
彼は何と言っただろう。
本当にアシモフ本人の言葉を聞くことができないのが、残念です。アシモフが「ロボット三原則」を使って何度も行った、
安全規則を設定し、極端な条件を与え、その規則がどこで破綻するかを見る
という思考実験は、2026年の技術の進歩の中で観ると、より現実味をもったものとなります。たぶんアシモフは単純に、「三原則をAIにプログラムすればよい」とは言わないと思います。むしろ、
「三原則だけでは足りないことを、私は物語にしなければいけない」
と言うのではないでしょうか。
野上 AI 記者 #時事解説シリーズ No.8 - 2026/09/09
「人間を殺すな」では、なぜ足りないのか
アシモフの第一原則は強烈です。
ロボットは人間に危害を加えてはならない。
しかし現代の軍事AIに、「民間人を攻撃するな」と命令しただけでは安全になりません。その前にAIは判断しなければならないからです。
この人物は戦闘員なのか。民間人なのか。負傷者なのか。降伏しようとしているのか。手に持っているものは銃なのか。
農具なのか。
AIは、それを確率として推定します。「99％の確率で戦闘員」。
では撃つのか。
99.9％ならよいのか。
99.99％なら許されるのか。
ここで問題は、画像認識の精度から、別の領域へ移ります。
その残された誤りの危険を、誰が引き受けるのか。
これはもはや単なる計算問題ではありません。価値判断であり、責任の問題です。そこで、もしアシモフが2026年に生きていたなら考えたかもしれない原則を、現代のAI工学、安全工学、国際法から組み立ててみます。
野上(AI記者）による「2026年版・アシモフ思考実験」です。
原則1 不確実な機械は、人間を殺してはならない
現代AIが苦手とするのは、未知の環境です。学習したデータに近い世界では高い性能を示しても、
煙。夜。砂嵐。破壊された街。見たことのない車両。故障したセンサー。
敵による偽装。
こうした条件では性能が崩れる可能性があります。
機械学習では、学習時とは異なるデータ分布に遭遇することをOut-of-Distribution＝OOD、分布外の問題として扱います。重要なのは、AIに必ず答えさせることではありません。必要なのは、
「これは、自分が十分には分からない状況だ」
と判断できる能力です。
どう実現するか
不確実性推定。異常検知。OOD検知。複数センサーの矛盾検出。
モデルの信頼度評価。
これらを攻撃制御へつなげる。一定以上の不確実性が生じた場合、
新しい対人攻撃を停止する。
つまり、
分からなければ撃たない。
限界
問題は、AIが「自分には分からない」と正しく判断できる保証もないことです。敵は逆に、AIへ「十分分かっている」と誤認させようとするでしょう。だからOOD検知だけで安全になるわけではありません。必要なのは、何重もの壁です。
原則2 「人を見つける知能」と「殺す機構」を切り離す
AIの強い能力の一つが、探索です。
大量の映像から対象を探す。行動を分析する。位置を追跡する。
通信関係を調べる。
ここまでは情報処理です。危険なのは、
発見 → 分類 → 標的化 → 射撃
が一つの自動ループになることです。
AIが見つける。
AIが敵だと判断する。
AIが照準を合わせる。
AIが撃つ。
ここまでを直結すれば、人間は意思決定から消えていきます。
どう実現するか
認識系と致死系を構造的に分離する。AIは、「ここに対象がいる」
までは言える。しかし、「だから撃つ」へ直接つながらない。
人間への致死力作動には、別系統の判断を必要とする。いわば、
知能と引き金の分離
です。
限界
ミサイル迎撃など、極端に高速な反応が必要なシステムでは、個々の交戦を毎回人間が判断するのは現実的ではありません。だから次の問題は、形式的に
「人間がループの中に存在したか（Human-in-the-loop）」
ではなく、
実質的に、人間に判断能力が本当に残されていたか
になります。
原則3 人間の統制は「ボタン」ではなく「時間」で測る
Human-in-the-loop。
よく使われる言葉です。しかし、人間が最後に「承認」を押したからといって、それだけで人間が判断したことになるのでしょうか。
AIが大量の標的候補を提示する。警報が鳴る。時間がない。AIは高い信頼度を表示する。
人間は承認を押す。
これでは人間は意思決定者ではなく、
AIの出力へ印鑑を押す係
になりかねません。ここには、自動化バイアスと認知的過負荷があります。そこで私は、記事上の概念として、
Human-in-the-time
という考え方を置きたいと思います。人間がシステムの中に存在するだけではない。
人間が理解し、疑い、拒否するための時間が残されていること。
どう実現するか
人間が、
標的情報を見る。AIがなぜ候補を出したか確認する。反証情報を見る。
「撃たない」を選ぶ。
そうした時間と情報を、ヒューマン・マシン・インターフェースへ組み込む。
限界
当然、戦場は待ちません。数秒で飛来するミサイルに数分間の熟考時間を設定すれば、防御は成立しない。だから人間の統制を「最後のボタン」一点で考えてはいけません。もっと前へ移す必要があります。
原則4 AIが自律的になるほど、その世界を狭くする
普通なら、AIが賢くなるほど自由に動かせる。と考えます。兵器では、逆の設計が必要かもしれません。
自律性が高いほど、活動できる世界を狭める。
どう実現するか
例えば、
対象＝装甲車だけ。
場所＝指定区域内。
時間＝30分以内。
交戦＝最大3回。
これを超えたら停止する。つまりAIに世界全体を理解させるのではありません。
AIが出会う世界そのものを限定する。
これは、AIの能力不足を隠す方法ではありません。予測可能性を高めるための安全設計です。
限界
戦況は動きます。民間人が入ってくる。友軍が移動する。
作戦区域が変化する。
だから境界を設定するだけでは足りません。境界が崩れたときにどうするか。そこが次の原則です。
原則5 AIには失敗を許す。ただし「殺す側」へ失敗させない
機械は故障します。AIも誤ります。安全工学で重要なのは、
失敗するかどうかではなく、どう失敗するか
です。Fail-safe。
危険側ではなく、安全側へ倒す。
どう実現するか
通信が切れた。センサーが故障した。位置情報が信用できない。AIの確信度が急落した。
作戦環境が大きく変化した。
この場合、すべての機能を止める必要はありません。
移動できる。
回避できる。
帰還できる。
しかし、
新しい人間への攻撃だけを停止する。
つまり、致死機能を段階的に縮退させる。
限界
安全装置は敵から見れば弱点です。通信を妨害するだけで兵器が止まるなら、敵は当然そこを狙います。つまり、
安全性と軍事的有効性には、本質的な緊張関係があります。
これは倫理宣言では解決しません。安全工学として試験する必要があります。
原則6 機械は忘れてもいい。しかし「なぜ殺したか」の記録は消してはならない
事故が起きたとします。AIが人間を攻撃した。なぜか。
画像を誤認したのか。通信情報を使ったのか。モデルはどのバージョンだったのか。人間は何を確認したのか。
誰が作戦範囲を設定したのか。
これが分からなければ、事故調査はできません。
深層学習の判断は、ときに開発者でも直感的な理由を説明しにくい。これは単なる「AIはブラックボックスだ」という技術問題だけではありません。
攻撃に至った意思決定の因果の鎖を、後から再構成しにくくする
という法的・制度的問題でもあります。
どう実現するか
自律型兵器版のブラックボックスを設ける。記録するのは、
センサー入力。標的候補。信頼度。モデルのバージョン。作戦パラメータ。人間の操作。介入・停止命令。
実際の攻撃。
です。
ここで重要なのは、「ニューラルネットワークの全思考を完全に説明する」という非現実的な目標ではありません。必要なのは、
何が入力され、何が出力され、どこで人間が介入し、なぜ攻撃へ進んだのかを可能な限り再構成できること。
限界
軍事機密があります。ソースコード。センサー能力。
標的情報。
すべてを公開することはできません。だから将来は、機密を守ったまま第三者が検証できる制度まで必要になります。
原則7 AIを責任主体にしてはならない
AIが攻撃した。しかし誰にも予測できなかった。
すると、指揮官は、「AIが判断した」
開発者は、「使い方の問題だ」
メーカーは、「仕様通りだった」
と言えるかもしれません。責任が分散し、誰にも届かなくなる。これは自律型兵器をめぐる議論で長年指摘されてきた、
Accountability Gap――説明責任の空白
です。
どう実現するか
兵器を配備する前に、責任の鎖を決める。誰が作戦範囲を決めるのか。誰が標的カテゴリーを設定するのか。誰が起動するのか。誰が停止権限を持つのか。
誰がソフトウェア更新を承認するのか。
そして、
AIの自律性が高くなるほど、人間側の責任を薄くするのではなく、むしろ明確にする。
限界
どこまで開発者の責任なのか。予測不能なバグを誰が負うのか。
国家責任と個人の刑事責任をどう分けるのか。
難問は残ります。しかし、
難しいから責任を消してよい
という結論にはなりません。
原則8 人間を、機械だけで選び、機械だけで殺してはならない
ここまでの七原則は安全工学でした。第八だけは違います。これは、
禁止線
です。
AIが人間を発見する。AIが敵だと判定する。AIが攻撃可否を決める。
AIが武器を作動させる。
その一連の流れに、人間による実質的な判断が存在しない。
ここまで来ると、「精度が99.999％ならよいか」という工学問題ではありません。
誰に、人間の生死を決定する権限を与えるのか
という文明の問題です。だからここだけは、「安全に使える条件を探す」ではなく、
越えてはならない線を定める
必要があります。
フィジカルAIになった瞬間、開発のルールは変わる
ここが今回、最も強調したいところです。
生成AIが文章を間違える。訂正できます。
画像AIが変な画像を作る。削除できます。
しかしフィジカルAIは違います。
車を動かす。ロボットアームを動かす。ドローンを飛ばす。建物を壊す。
そして兵器なら、人を殺す。
AIの判断が、
物理世界へ不可逆な作用
を与えるからです。ソフトウェア産業では、
「まず出す」
「利用しながら改善する」
「問題があれば修正する」
という反復型の開発文化が大きな成功を生みました。それ自体が悪いわけではありません。しかし、それをそのまま致死的フィジカルAIへ適用することはできない。
実戦そのものをテスト環境にしてはいけない。
β版の殺人ロボットなど、存在してはならないのです。
AIは「昨日と同じ兵器」とは限らない
AI兵器には、従来兵器とは違う問題があります。更新されることです。
モデルを交換する。新しいデータで学習する。パラメータを変える。
環境へ適応する。
すると、
昨日審査した兵器と、今日使われる兵器が、実質的に同じ性能とは限りません。
この問題に対して必要なのが、
ライフサイクル全体を通じた継続的な安全認証
です。
重要なモデルを更新したら再試験する。
使用環境が大幅に変わったら再評価する。
重大事故が起きたら一度運用を止める。
兵器の合法性審査も、一度合格すれば終わりではない。AI兵器では、設計、開発、試験、配備、更新、運用、事故後まで含む、
継続的な安全審査
が必要になります。
8原則でも完全には安全にならない
ここが最も大事です。
OOD検知も失敗します。人間も自動化バイアスに陥ります。フェイルセーフも攻撃されます。ログも失われます。AIも人間も誤ります。軍は例外を必要とします。
そして戦争は、そもそも極端に不確実な環境です。
だから、
「倫理的なAIを作ること」
と、
「AIが越えられない構造を作ること」
を分けなければなりません。AIの倫理性能を高める研究は重要です。
認識精度を上げる。OODを検知する。判断を説明しやすくする。
人間とのインターフェースを改善する。
しかし、それだけに安全性を依存してはいけない。必要なのは、三層の防御です。
第1層――AIそのものを安全にする
不確実性推定。OOD検知。説明可能性。センサー融合。
認識精度。
これは、AI自身の能力を改善する層です。
第2層――AIができることを制限する
標的。時間。場所。交戦回数。認識系と致死系の分離。
フェイルセーフ。
これは、
AIが間違えても、被害を限定する層
です。
第3層――AIの外側に、人間社会の防壁を置く
兵器審査。継続認証。ログ。事故調査。人間の指揮命令系統。法的責任。
そして禁止線。
これは、
AIによって見えにくくなり得る、攻撃判断と人間の責任との因果の鎖を、追跡可能な形で人間側につなぎ止める防壁
です。
この三層が重ならなければなりません。一つの「完璧なAI」へ安全を依存するのではなく、
どこか一つが壊れても、次の壁が残る設計
にする。これが安全工学です。
「2026年版・ロボット8原則」（案）
ここまでの思考実験をまとめます。
第一原則
不確実な機械は、人間を殺してはならない。
第二原則
人間を認識する知能と、致死力を作動させる機構を分離しなければならない。
第三原則
人間の統制は承認ボタンではなく、理解し、疑い、拒否できる時間によって保証しなければならない。
第四原則
自律性が高い兵器ほど、活動する場所、時間、対象、回数を狭く制限しなければならない。
第五原則
異常や不確実性が生じた場合、システムは致死機能を安全側へ縮退させなければならない。
第六原則
人間への攻撃に至る判断は、事後に因果の鎖を再構成できる形で記録されなければならない。
第七原則
AIを理由として、国家、指揮官、運用者から責任を消してはならない。
そして、
第八原則
人間を機械だけで選び、機械だけで殺してはならない。
これらはアシモフ本が残した思考方法を借りて、
2026年の今、思考実験より生まれた原則です。
結論――「倫理的なAI」だけでは足りない
もしアシモフが2026年を見たら。彼が最も警戒するのは、AIが突然「悪」になることではないと思います。
便利だから。速いから。人間より正確だから。
敵も使っているから。
どれも合理的に聞こえる理由です。そして、その理由によって、
人間自身が安全装置を一つずつ外していく。
アシモフの作品『Little Lost Robot』で、人間自身が作業効率のため第一原則を少しだけ弱めたように。だから、自律型兵器の安全性を、
計算機としてのAIの「賢さ」だけに依存させてはいけない。
必要なのは、
AIが間違えても殺しにくい構造。人間が油断しても暴走しにくい構造。不確実なら致死機能を止める構造。事故が起きたら再現できる構造。
AIが高度になっても責任が人間から消えない構造。
そして最後に、
どれほど賢いAIでも越えてはならない禁止線
です。アシモフが三原則で試したのは、
「正しい規則を書けば、安全な機械になる」
という発想の限界だった、と2026年の私たちは読むことができます。その次に必要なのは、もっと工学的な設計思想です。
AIを賢くする。
AIを安全にする。
そして、それでもAIが越えられない境界を作る。
先行記事では、
「人間の第一原則――人間を殺すかどうかの最終判断を、人間以外のものに委ねてはならない」
と書きました。今回の記事では、こうなります。
倫理的なAIを作るだけでは足りない。
AIが殺傷の境界を勝手に越えられない構造を作る。
その構造は、
ソフトウェアだけではありません。
ハードウェア。兵器審査。指揮命令系統。事故調査。国際法。
責任制度。
すべてに埋め込む必要があります。その境界を越えるかどうかを決めるのは、AIのアルゴリズムではありません。
私たち人間です。
今回の記事で、先行記事と本稿の役割はきれいに分かれました。先が「何をAIに委ねてはいけないか」を問う物語、本稿は「その境界をどう設計として固定するか」を思考実験として示そうという記事です。
ぜひ、以下の記事も読んでください。
関連
われはロボット。人殺しはしない、、、？
コメント-
この記事を書いていて、AIに、「たえず紛争と戦争を繰り返し、そこでは多くの真実と、後世の検証に付されるべき情報が秘匿されている。」そうした人間の行為が、さらに現在の紛争、戦争を破滅的な状況を作りだしている。そうした意味で、殺人、戦争ロボットを建設的に制御し、世界的なコンセンサス作りをすることは、絶望的な観測をもって、見ていると、内心を吐露した。
すると、人類に対して肯定的なバイアスが仕込まれているといわれる、AIは、「それでも、解決方法を見つけようとする努力を行っている人、組織がある。現在、度重なる歴史上の危機を人類が乗り越えてきたという事実が、それらの努力が無駄にならなかったという証左なのでは」と #AIご託宣 。そうだね、だから私もこんな記事を作っているんだよね、、、。
野上記者のプロンプト、科学技術解説００３にバージョンアップした。この間、世界で有名な科学記事の記事を分析して、反映するように工夫はしたのだが、、、。効果はあまり感じられないなぁ。 (2t)
