われはロボット。人殺しはしない、、、?
アシモフの三原則から84年 — 人間を殺す判断をAIに渡してよいのか
WebマガジンGreenPost編集部
1942年、水星で一台のロボットが円を描いていた
灼熱の水星で、一台のロボットが同じ場所を延々と回り続けていました。
名前はスピーディ。人間から「セレンを取ってこい」と命じられた、高性能ロボットです。
ところが目的地へ近づくと危険を察知して離れ、離れると再び命令に従って近づく。その繰り返しで、スピーディはいつまでも円を描き続けます。故障していたわけではありません。
むしろ逆でした。
ロボットは、与えられた安全規則を忠実に守っていたのです。
アイザック・アシモフが1942年に発表した短編『Runaround（堂々めぐり）』。ここで初めて明文化されたのが、有名な「ロボット工学三原則」でした。
第一原則――ロボットは人間に危害を加えてはならない。また、その危険を看過することによって、人間に危害を及ぼしてはならない。
第二原則――第一原則に反しない限り、人間の命令に従わなければならない。
第三原則――第一、第二原則に反しない限り、自分自身を守らなければならない。
一見すると、完璧な安全装置です。ところがスピーディは、
「人間の命令を実行しろ」
という第二原則と、
「危険から自分を守れ」
という第三原則の間にはまり込みました。
二つの規則が拮抗した結果、ロボットは堂々めぐりを始めたのです。アシモフが描いたのは、「規則を破るロボット」の恐怖ではありませんでした。
もっと難しい問題です。規則を正しく守っている機械が、人間の意図とは違う結果を出す。
その思考実験から84年後。舞台は、水星からスイス・ジュネーブへ移ります。
84年後、128か国が同じ問題を議論し始めた
84年後、128か国が同じ問題を議論し始めた
2026年9月5日。
国連の特定通常兵器使用禁止制限条約（CCW）の政府専門家会合で、128の締約国が、自律型致死兵器システム（LAWS）について、将来の国際ルールにつながる文書で合意しました。
いわゆる「殺人ロボット」の規制です。これは、新しい禁止条約が成立したという意味ではありません。法的拘束力を持つ国際ルールが完成したわけでもありません。
しかし、10年以上にわたって議論されてきたLAWSについて、128か国が共通文書をまとめ、次の国際交渉へ渡したことは重要な前進です。(Reuters)
しかも、交渉は容易ではありませんでした。会議終盤まで米国とロシアは法的拘束力を持つ新条約に慎重で、米国はロシア、インド、トルコなどとともに、既存の国際人道法を基礎とする非拘束的なガイドラインを支持しました。
一方、ブラジル、アイルランド、複数のアフリカ諸国などは、より強い法的規制を求めました。(Reuters)
そして議論の核心にあるのが、
人間を、武力行使の意思決定にどこまで残すのか
という問題です。ここから、アシモフの物語と2026年の現実が、奇妙なほど重なり始めます。
ロボットが規則を破るから危険なのではない
アシモフのロボット作品を現代から読み返してみると、一つの特徴に気づきます。ロボットたちは、三原則を破ろうとして問題を起こすわけではありません。むしろ、守ろうとします。それでも問題が起きる。
つまり危険なのは、
悪意ある機械が安全規則を無視することだけではありません。
善意で作られた安全規則が、複雑な現実の中で人間の予想とは違う結果を生むことです。
スピーディは規則の穴を探していたのではありません。
穴があることさえ知らず、ただ規則を実行していた。
ここに、自律型兵器を考えるうえで最も重要な問題があります。AIに悪意は必要ありません。
「敵を見つけろ」「味方を守れ」「民間人への被害を減らせ」
「任務を成功させろ」
という複数の目標を与えれば、それらが衝突する状況は必ず生まれます。そのときAIが導く答えが、人間の倫理的判断と一致する保証はありません。
「人間を殺すな」と書けば安全になるのか
では、自律型兵器にもアシモフの第一原則を与えればよいのでしょうか。
「民間人を殺してはならない」
「降伏した兵士を攻撃してはならない」
「不必要な危害を与えてはならない」
そうプログラムすれば、安全になるのでしょうか。
問題は、その前にあります。AIは、目の前にいる人物を何者として認識するのでしょう。
民間人なのか。戦闘員なのか。負傷した兵士なのか。武器を捨てた兵士なのか。降伏しようとしているのか。農具を持っているのか。
武器を持っているのか。
戦場では、これらの区別は外見だけでは決まりません。
場所。時間。行動。周囲の人間。その直前までの状況。
そして意図。
つまり大量の「文脈」が必要です。AIは画像、赤外線、レーダー、通信情報などから、それを推定できます。しかし、それはあくまで推定です。どれほど優れた安全規則でも、
「人間とは誰か」
「危害とは何か」
という入力側の意味がずれれば、結論もずれます。三原則の弱点は、文章が短いことではありません。その短い文章の中にある、
「人間」
「危害」
「命令」
という言葉が、現実世界では恐ろしく複雑なのです。
一文を削っただけだった
1947年の『Little Lost Robot（迷子のロボット）』では、さらに現代的な問題が描かれます。特殊な環境でロボットを働かせるため、人間は第一原則を意図的に弱めました。全部を削ったのではありません。第一原則の後半、
「危険を看過することによって、人間に危害を及ぼしてはならない」
という部分だけを外したのです。理由は合理的でした。
安全規則が厳しすぎるため、危険な作業環境で人間が少しでも危険にさらされるたび、ロボットが介入してしまう。それでは仕事にならなかったからです。つまり人間は、安全装置を壊そうとしたわけではありません。
仕事を便利にするため、安全装置に小さな例外を作った。
ところが、その小さな変更によって、ロボットの行動可能性そのものが変わります。これは現代の自律型兵器規制にとって、重要な寓話です。
通常は人間が承認する。
しかし通信が切れた場合はどうするのか。敵の妨害電波を受けたらどうするのか。人間には判断できないほど高速の攻撃を受けたらどうするのか。
大量のドローンが一斉に接近してきたらどうするのか。
「通常は人間が判断する。ただし緊急時には自律攻撃を許可する」
という設計は合理的に見えます。しかし戦争では、その「緊急時」が日常になる可能性があります。
問題は、例外が存在することだけではありません。
例外が、いつの間にか通常運用へ変わることです。
人間がボタンを押せば「人間の判断」なのか
LAWSをめぐる国際交渉では、「人間の判断と統制」をどう確保するのかが大きな論点になってきました。
一方で、すべての兵器について、人間が常時直接操作しなければならないという単純な考えでもありません。防空システムのように、非常に高速な反応が必要な兵器もあります。そのため、
どの程度の人間の判断と統制が、その状況で必要なのか
という考え方が議論されています。
2026年9月の合意後に始まった第7回運用検討会議の準備委員会でも、「meaningful human control」を確保する具体策が重要課題として掲げられました。(イタリア常駐代表部)
ここに難問があります。人間が操作画面の前に座っていれば、それだけで「人間の統制」と呼べるのでしょうか。
AIが瞬時に多数の標的候補を提示する。人間は、AIがなぜその人物を選んだのか十分に理解できない。考える時間もほとんどない。
しかし最後に、人間が「承認」ボタンを押す。
形式上は人間が決めています。しかし実質的には、AIの判断を追認しているだけかもしれません。これは「自動化バイアス」と呼ばれる問題につながります。機械が速く、一貫して、自信ありげに答えを出すほど、人間はその判断を過度に信頼しやすくなります。だから必要なのは、人間がループの中に「存在する」ことではありません。
理解できること。
拒否できること。
そして、
責任を負えること。
です。
すでに現実の戦場で問われている
これは遠い未来の想像ではありません。
2024年、イスラエル軍がガザで利用したと報じられた「Lavender」と呼ばれるシステムをめぐり、AIが多数の標的候補を抽出し、一部の情報要員が一人の標的についてわずか数十秒程度しか確認していなかったという証言に基づく調査報道が出ました。
ただしイスラエル軍は、この報道の重要部分を否定しています。Lavenderは人間を自律的に攻撃対象として決定するシステムではなく、分析官を支援するデータベースであり、標的については人間による独立した審査が行われる、と説明しています。
したがって、この事例から「AIが自動的に人間を殺した」と結論づけることはできません。
しかし、この論争そのものが重要です。問われているのは、
人間が最後に承認したという事実だけで、本当に「人間が判断した」と言えるのか
ということだからです。AIによって意思決定の速度が上がるほど、人間の関与が形式だけ残り、中身を失う危険があります。
1942年のスピーディは、規則同士が衝突して決められなくなりました。
現代の軍事AIでは、逆の問題が起こり得ます。
機械があまりにも速く決めるため、人間が考えられなくなる。
アシモフはさらに「人類」を持ち出した
アシモフは後期作品で、三原則より上位に位置する「第零原則」を登場させます。個々の人間ではなく、
「人類全体を守れ」
という考えです。一見すると、第一原則より高い倫理に見えます。ところが、ここには別の危険があります。
人類全体を守るためなら、一人を犠牲にしてよいのか。一万人を救うためなら、百人を犠牲にしてよいのか。国家を守るためなら、一つの地域への被害を許してよいのか。
戦争を早く終わらせるためなら、どこまでの民間人被害を許容するのか。
「人類」
「国家安全保障」
「作戦成功」
「戦争の早期終結」
目標が抽象的で大きくなるほど、個々の人間は数字へ変わっていきます。AIは、与えられた目標を最適化することを得意とします。しかし、
何を犠牲にしてよいのか
は、単なる最適化問題ではありません。それは価値判断です。
それでもAIの方が人間より安全かもしれない
ここでは、反対側の議論にも向き合う必要があります。
人間も間違えます。戦場では、人間自身がこれまで数え切れないほどの誤認や誤射を起こし、虐殺を行ってきました。
恐怖。疲労。怒り。復讐心。
偏見。
AIには、少なくともこれらの人間的感情はありません。大量のセンサー情報も高速に処理できます。将来、限定された条件では、人間より正確に対象を識別できるAIが登場する可能性もあります。
だから、
「人間なら安全、AIなら危険」
という単純な議論ではありません。むしろ、ここを認めた方が問題の本質ははっきりします。仮にAIが人間よりはるかに高い精度で戦闘員と民間人を区別できるようになったとしても、
人間を殺すという最終権限まで、機械へ移してよいのか。
という問いは残ります。AIの性能を評価する問題と、
社会が誰に生死の決定権を与えるのか
という問題は、別だからです。
国連も「規則」から「構造」へ進み始めている
現在のCCW議論も、単純に、「AIは国際人道法を守らなければならない」
という抽象論だけにとどまっているわけではありません。
標的の種類。使用する時間。地理的範囲。作戦規模。交戦回数。
人間による介入や停止。
運用中の学習や適応によって、事前に審査した重要な任務条件が予期せず変質しないようにすること。こうした、具体的な運用上・技術上の制約が検討されています。これは重要な変化です。倫理をAIに「教える」だけではなく、
兵器ができること自体を、構造として制限する
方向へ議論が進み始めているからです。
しかし、それらをどこまで国際的な義務として固定するのか。違反をどう検証するのか。
事故が起きたとき誰が責任を負うのか。
そこには、まだ大きな空白があります。そこで、ここからAIのまとめ能力を使って、GreenPostとして作成してみた、三つの原則を提案したいと思います。
GreenPost提言――停止・記録・責任
1 停止できること
判断に必要な情報が失われたなら、攻撃を続けない。
通信が切れた。重要なセンサーが故障した。位置情報が信頼できない。
作戦条件が大きく変化した。
こうした場合に、「それでも任務を続行せよ」ではなく、
「判断できなければ撃たない」という側へシステムを倒す。
これは自律型兵器に必要な基本的なフェイルセーフです。もちろん、軍事的には簡単ではありません。通信妨害を受けただけですべての兵器が停止するなら、敵はそこを攻撃します。だからこそ、安全性と軍事的有効性のどこに境界を置くのかを、兵器を配備した後ではなく、設計段階から決める必要があります。
2 記録できること
AIは何を見たのか。どのデータを使ったのか。
どの対象を標的候補として選んだのか。なぜその対象を標的候補と判断したのか。どの時点で人間が確認したのか。誰が攻撃を承認したのか。
そして何が実際に起きたのか。
可能な範囲で、それらを後から検証できなければなりません。
現代のAI、とりわけ深層学習を利用したシステムでは、内部の判断過程を完全に人間の言葉へ翻訳することが難しい場合があります。だからこそ、すべてを説明できるという幻想ではなく、
少なくとも何を入力し、何を出力し、どこで人間が介入したのかを追跡できること
が最低条件になります。航空事故を調べるフライトレコーダーのように、自律型兵器にも事後検証可能な記録が必要です。
3 責任を追跡できること
そして最も重要なのが責任です。
誤爆が起きた。民間人が死亡した。
すると、
「AIが選んだ」
「アルゴリズムが判断した」
「予想できなかった」
という説明だけで終わる可能性があります。
それを許してはいけません。
兵器を使用した国家。使用を決定した指揮系統。
システムを運用した組織。
それぞれの責任を追跡できなければ、自律性が高まるほど責任だけが消えていきます。自律型兵器をめぐる法学・倫理研究では、こうした問題はしばしば、
Accountability Gap――説明責任の空白
として論じられてきました。AIが高度になればなるほど、人間の責任まで薄くなってよいわけではありません。むしろ逆です。
AIへ渡す権限が大きくなるほど、人間側の責任を明確にしなければならない。
1942年の円運動へ戻る
もう一度、水星へ戻ってみます。
スピーディは悪いロボットではありませんでした。人間へ反逆したわけでもありません。安全装置を解除したわけでもありません。
ただ、与えられた規則を守った。
それでも、人間が期待した結果にはならなかった。ここにアシモフの作品を2026年から読み直す意味があります。アシモフが本当に警告していたのは、悪意を持ったロボットの反乱だった――と単純化するべきではないでしょう。むしろ作品群から浮かんでくるのは、
善意で作った規則を、機械が人間の予想とは違う形で冷徹に実行してしまう危険
です。だから、自律型兵器について私たちが問うべき問題も変わります。
「どうすればAIに正しく殺させられるのか」
ではありません。
「何をAIに決めさせてはならないのか」
です。さらに言えば、
「悪いAIをどう止めるか」
だけでもありません。本当に難しいのは、
正しく動いているAIが、人間にとって間違った結果を出す可能性を、どう制度と構造で封じるのか。
という問題です。そのためには、倫理規則だけでは足りません。
停止できること。記録できること。
責任を追跡できること。
そして最後に、
機械へ委ねてはならない領域そのものを、人間が決めること。
2026年9月の128か国合意は、その答えではありません。しかし、人類がこの問題をSFではなく、国際法と現実の兵器設計の問題として扱うところまで来たことを示す重要な一歩です。
9月7日には、第7回CCW運用検討会議へ向けた準備委員会もジュネーブで始まりました。11月16～20日の本会議へ向け、「意味ある人間の統制」や国際人道法、新技術への具体的対応をどう進めるかが議論されています。(イタリア常駐代表部)
アシモフが三原則を明文化してから84年。
問いは、「ロボットに、どんな規則を与えるのか」から、
「人間自身が、どんな規則を守るのか」
へ移りました。ならば、私たち自身にも一つの原則が必要です。これはアシモフの第四原則ではありません。AIへ書き込むプログラムでもありません。2026年を生きる人間社会が、自分自身に課す原則です。
人間の第一原則――人間を殺すかどうかの最終判断を、人間以外のものに委ねてはならない。
付録 アシモフ作品とLAWSを理解するための参考資料
アシモフ作品
1．アイザック・アシモフ『Runaround（堂々めぐり）』1942年
「ロボット工学三原則」が初めて明文化された代表的短編。第二原則と第三原則が拮抗し、スピーディが水星で円運動を続けます。「正しい規則同士が衝突したら何が起きるか」という本稿の出発点です。
2．アイザック・アシモフ『Liar!（うそつき）』1941年
人間の心を読めるロボットが、人間を精神的に傷つけないため嘘を語り始めます。「危害」を肉体だけでなく精神まで広げたとき何が起きるのか。「危害とは何か」という定義問題を扱う重要作です。
3．アイザック・アシモフ『Little Lost Robot（迷子のロボット）』1947年
作業上の必要から、人間自身が第一原則の一部を意図的に弱めたロボットを描きます。小さな例外が安全システム全体の意味を変えるという、現代のAI安全設計にも直接つながる思考実験です。
4．アイザック・アシモフ『The Evitable Conflict』1950年
巨大なコンピューターが世界経済を管理し、人類全体の安定のために個々の人間への不利益を許容していきます。「全体最適」の名の下で個人の自由や利益を誰が犠牲にできるのかを問う作品です。
5．アイザック・アシモフ『Robots and Empire（ロボットと帝国）』1985年
個人への危害禁止よりさらに上位に「人類全体への危害禁止」を置く「第零原則」が重要な役割を果たします。「人類の利益」という巨大で曖昧な概念を、機械が判断できるのかという難問を提示します。
6．アイザック・アシモフ『I, Robot（われはロボット）』1950年
アシモフの初期ロボット短編をまとめた代表的短編集。三原則を完成された倫理規則としてではなく、異なる条件を与えて挙動を調べる「連続した思考実験」として読むと、本稿との関係がよく見えてきます。
自律型兵器・国際規制
7．Reuters「States reach agreement at autonomous weapons talks in Geneva」2026年9月5日
128のCCW締約国が自律型兵器をめぐる文書で合意したことを報じた速報。今回の出来事について、「殺人ロボット禁止条約が成立した」のではなく、将来の国際ルールへ道を開く合意だったことを確認できます。(Reuters)
8．Reuters「Opposition by US and Russia raises doubts over autonomous weapons talks outcome」2026年9月4日
合意前日の外交交渉を詳しく報道。米国、ロシア、インド、トルコなどの慎重姿勢と、ブラジル、アイルランド、アフリカ諸国などの強い規制要求を整理しており、各国の対立構造を理解する資料です。(Reuters)
9．国連CCW／LAWS政府専門家会合資料
「人間の判断と統制」、国際人道法、標的、地理的範囲、使用時間、停止能力など、LAWSにどのような制約を課すべきかを各国が継続して検討してきた一次資料群。規制議論の実像を知る基本資料です。
10．CCW第7回運用検討会議・準備委員会 2026年9月7～9日
11月16～20日の第7回運用検討会議へ向けた準備会合。LAWSについて、意味ある人間の統制、国際人道法の遵守、新技術によるリスクをどう具体的な制度へ結びつけるかが引き続き重要課題となっています。(イタリア常駐代表部)
次に注目すべき日
2026年11月16～20日。
ジュネーブで開かれるCCW第7回運用検討会議です。
9月の128か国合意を、単なる共通文書のまま残すのか。
より強い国際規則へ進めるのか。
それとも、大国間の対立によって再び交渉が停滞するのか。
アシモフが1942年に始めた問いは、84年後の現在も終わっていません。
むしろ今、ようやく現実の問いになったのです。
#AIご託宣 これで完成形にできます。特に最後を「AIの性能」ではなく権限・責任・人間社会の自己規制へ戻したことで、続編とは明確に役割が分かれました。続編では逆に、「人間を残せば本当に安全なのか」という本稿の前提そのものを科学的に検証すると、二本の記事がきれいに噛み合います。
関連
コメ-
殺傷可能なフィジカルAIに必要な「2026年版・アシモフ8原則」を考えてみました。↓
コメント-
AIを使って記事を書くとき、流れを指定して作るのだが、、、。最近は、提案がどんどんAIから出てきて、当初の記事とは方向性や主旨すら変わる。ただ、それで出来上がった記事が、よくなっているのだ。
AIを使って記事を作るという、目的と可能性すら、最近のAIはどんどん過去を踏み越えるように促してくる。
そして、このことが殺人ロボットを考える上で、最も恐ろしい点だ。歯止めなど、規制など全く気にしない勢力が、恐るべき性能の武器としてのロボットを手にして、自由に野に放ってしまうことだ。
そして、世界情勢を考えると、国境警備や警察、軍隊に普及し、やがて、それらは、テロ、犯罪者の手に落ちる可能性がどんどん高くなっているような気がする。非市民に対しては、人間であっても保護規制をしないという国家を数えると、全く気にしない国として思い浮かぶのが5つぐらい、多少気にするがほぼ気にしない国が、10余りも頭に浮かぶ。
我日本も、報道の自由度や、AIやフィジカルAIの軍事、警備、情報活動への導入を考えると、かなり危うい。他国の脅威の前に、なし崩しという形が見えるからだ。
数年後に生まれる危機を想像すると、それは、アシモフのロボット世界より危うい世界だ。ディストピア、終末SFの過酷な世界、、、。 (2t)
