今日のAI失敗事例_Uber自動運転車が起こした死亡事故、「AIが検知していたのに止まれなかった」現実

2026年8月17日 22:58

はじめに

「AIが検知していたのに、なぜ事故は防げなかったのか」。この記事では、2018年に米国アリゾナ州で起きたUberの自動運転車による死亡事故を取り上げます。
AIが歩行者を捉えていながら衝突を回避できなかった背景には、技術だけでなく「安全管理の設計ミス」がありました。AIを業務に導入する企業すべてに関わる教訓です。

何が起きたのか

2018年3月18日夜、米国アリゾナ州テンピ市で、Uberの自動運転試験車両(ボルボXC90を改造)が時速約61kmで走行中、自転車を押して道路を横断していたエレイン・ハーツバーグさん(49歳)と衝突し、彼女は死亡しました。自動運転車による歩行者死亡事故としては世界初の事例とされています。
米国家運輸安全委員会(NTSB)の調査によると、車両のセンサーは衝突の約6秒前に対象物を検知していました。しかし、システムは対象物を「不明な物体」「車両」「自転車」と繰り返し分類し直し、進路を予測できませんでした。
さらに、車両にもともと搭載されていた自動緊急ブレーキ機能は、自動運転モード中は意図的に無効化されていました。運転席には「セーフティドライバー」のラファエラ・バスケス氏が同乗していましたが、事故時はスマートフォンでテレビ番組「The Voice」を視聴しており、ブレーキ操作は間に合いませんでした。詳細はNPRの報道と、NTSBの事故調査報告書(PDF)で確認できます。

なぜ失敗したのか

AIの物体認識システムが、歩行者・車両・自転車のいずれかを何度も判定し直し、最終的な進路予測が確定しないまま時間切れになった
会社側が「乗り心地の悪化(急ブレーキの多発)」を懸念し、自動緊急ブレーキをあえてオフにしていた
本来AIの判断を補完すべき人間の監視役(セーフティドライバー)が、業務中にスマートフォンで動画を見ており、実質的に「二重の安全網」が両方とも機能していなかった
CNNの報道によれば、NTSBはUberの「安全リスク評価の不備」「運転手監督体制の不備」「単調作業による集中力低下への対策不足」という3つの組織的な問題を指摘している
公道での実証実験(PoC)を急ぐあまり、想定外の状況(道路の途中を横断する歩行者=ジェイウォーキング)への対応検証が不十分だった

企業はどう対応したのか

事故直後、Uberは全米で実施していた自動運転車の公道試験を即座に停止しました。アリゾナ州知事はUberの同州での試験許可を取り消し、Uberも同州での事業を撤退させています。
試験再開後は、セーフティドライバーを1名から2名体制に増やし、運転手の視線を監視するアラートシステムを導入するなど安全体制を強化しました。しかし事業としての立て直しは難しく、2020年12月にUberは自動運転部門(Uber ATG)をAurora Innovation社に売却し、自動運転車の自社開発から事実上撤退しました(CNNの報道)。
法的責任については、検察はUber本体への刑事責任は問えないと判断した一方、セーフティドライバーのバスケス氏は過失致死容疑で起訴され(NPRの報道)、2023年に軽減された危険運転容疑で有罪を認め、保護観察3年の判決を受けました(CNNの報道)。

この事例から学べること

AIが「検知した」ことと「正しく判断し行動できる」ことは別問題である。認識精度だけでなく、判断が確定するまでの処理速度や、判断が割れた場合の安全側フォールバックの設計が重要
「AIの誤作動を防ぐための安全機能」を、利便性やユーザー体験を理由に安易にオフにすると、事故発生時に致命的な結果を招く。安全装置の解除は必ず代替策とセットで検討する
AIに任せる業務ほど、人間の監視役の役割と責任範囲を明確にする必要がある。「AIが基本操作をするから人間は気を抜いてよい」という体制は機能しない
PoC(実証実験)を公道・実環境で行う場合は、想定外の入力(イレギュラーな歩行者の動きなど)への耐性を、本番投入前に十分に検証する必要がある
事故や不具合が起きた際、経営層は「技術的な原因」だけでなく「組織としての安全管理体制」まで含めて検証・公表する姿勢が、その後の信頼回復とビジネス継続を左右する

今日から実践できる対策

AIシステムに搭載されている安全機能・フェイルセーフ機能は、業務効率や快適性を理由に無効化しない。無効化する場合は必ず代替の安全策とセットで承認プロセスを通す
AIの判断結果を人間が監視・介入する運用では、監視担当者の役割・注意義務・当番中の禁止行為(スマホ操作など)を明文化し、定期的に順守状況を確認する
AIを使った新しい業務やサービスは、いきなり本番環境に投入せず、限定的な範囲・時間・条件でのPoC(実証実験)を経てから段階的に拡大する
AIの出力・判断が「複数の解釈に割れる」ケースをあらかじめ洗い出し、判断がつかない場合にどう安全側に倒すか(停止する・人に確認するなど)のルールを事前に決めておく
AI関連の事故・不具合が起きた場合に備え、原因究明・情報公開・再発防止策の策定を行う社内フローと責任者をあらかじめ決めておく

まとめ

2018年のUber自動運転車死亡事故は、AIが歩行者を検知していたにもかかわらず、判断の遅れと安全機能の解除、監視体制の形骸化が重なり悲劇に至った事例です。AIの精度向上だけでなく、安全機能を維持したまま人間がどう関わるかの設計こそが、AI活用の成否を分けます。自社のAI導入プロセスにも同じ落とし穴がないか、今一度見直してみましょう。