今日のAI失敗事例_「9割は間違い」高齢患者の治療費をAIが機械的に打ち切っていた大手保険会社の内側
はじめに
「AIが計算した数字だから正しいはず」——この思い込みが、命に関わる場面で通用しなかったらどうなるでしょうか。米国の保険最大手UnitedHealth Groupは、AIによる医療費の支払い判断をめぐり集団訴訟を起こされています。この記事では、AIの判断ミスが放置された背景と、業務にAIを組み込む際の注意点を解説します。
何が起きたのか
舞台は米国の高齢者向け公的医療保険制度「メディケア・アドバンテージ」です。UnitedHealth Groupの子会社naviHealthは、リハビリ施設や在宅ケアなど「退院後にどれだけの治療が必要か」を予測するAIツール「nH Predict」を運用していました。
2023年11月、亡くなった2人の元加入者の遺族が、このAIが医師の判断を覆し、必要な治療を打ち切らせたとして、ミネソタ州の連邦裁判所にUnitedHealthを提訴しました(CBS Newsの報道)。
訴状によれば、nH Predictには約9割という高い誤り率があり、患者や家族が不服申し立て(上訴)をした場合、その9割で当初の「治療打ち切り」判断が覆っていました。にもかかわらず、実際に不服申し立てをする加入者は全体のわずか0.2%程度にとどまり、大半の高齢者はAIの判断をそのまま受け入れざるを得ない状況でした。
なぜ失敗したのか
AIの予測を「参考情報」ではなく、実質的な支払い可否の最終判断として使ってしまった
担当者が現場でAIの予測を覆すことが構造的に難しい業務フローになっていた
誤り率が高いと知られていたにもかかわらず、運用の見直しが後回しにされた
不服申し立てのハードルが高く、AIの誤りが表面化しにくい仕組みだった
患者一人ひとりの個別事情より、統計的な「似た患者との比較」が優先された
企業はどう対応したのか
UnitedHealth側は訴えの内容を否定し、「nH Predictは支払いの可否を決めるものではなく、患者や家族、医療提供者に必要なケアの目安を伝えるための参考ツールにすぎない」と説明し、徹底的に争う姿勢を示しました。
裁判所は2025年2月、契約違反などの一部の訴えについて会社側の却下申し立てを退け、訴訟の続行を認めました。同年にはAIの運用実態に関する幅広い資料の開示も命じられており(DLA Piperの解説記事)、2026年8月時点でも和解には至らず、審理が続いています。
この事例から学べること
AIの予測結果を「最終判断」として自動的に業務に組み込むと、誤りが是正されないまま実行されてしまう
AIの誤り率や精度は、導入後も定期的に検証し、社内で共有する体制が必要
AIの判断に対して、利用者(顧客や患者)が簡単に異議を申し立てられる窓口を用意しないと、誤りが表面化しない
「AIはあくまで参考情報」と説明していても、現場の運用が実質的な自動判断になっていれば、その説明は通用しない
人の命や生活に直結する判断ほど、AIの提案を人間が実質的にチェックする仕組みを残す必要がある
顧客対応にAIを使う場合、企業側の「AIが言った」という言い訳は法的責任の免除にはならない
今日から実践できる対策
AIの出力は「最終決定」ではなく「提案」として扱い、人間が最終確認するルールを明文化する
AIツール導入前に、誤り率や検証データを開発元・ベンダーに開示させる
顧客・従業員がAIの判断に納得できない場合の異議申し立て窓口を必ず設ける
AIの判断結果を定期的にサンプル抽出し、人間が正しさを検証する仕組みを作る
AIを人事評価や医療・与信など人の生活に直結する場面で使う際は、法務・コンプライアンス部門を必ず巻き込む
「AIが決めたことだから会社の責任ではない」という説明が通用しない前提で、社内ルールを設計する
まとめ
AIによる自動判断は業務効率を大きく高める一方、誤りが放置されると人の生活や命に直結する被害を生みます。UnitedHealthの事例は、精度の高さよりも「誤ったときにどう気づき、正すか」という仕組みの有無が問われることを示しています。自社でAIを使う際も、人間によるチェックと異議申し立ての窓口を必ず用意しましょう。
関連キーワード
UnitedHealth,nH Predict,AI医療,AI審査,メディケア・アドバンテージ,AI保険金請求,AI誤判定,AIガバナンス,AI導入失敗,ヘルスケアAI,AI訴訟,アルゴリズム差別,AI人間チェック,生成AIリスク,DX失敗事例,AI活用注意点,ビジネスAI活用,AI倫理,AIコンプライアンス,保険業界AI
#生成AI #AI失敗事例 #AIリテラシー #DX #ビジネス学習 #AIガバナンス #ヘルスケアDX
