今日のAI失敗事例_「黒人のナチス将校」を生成したGoogleのAI、株価9兆円が一日で消えた48時間

2026年8月5日 19:23

はじめに

結論から言うと、「多様性に配慮する」という良かれと思って組み込んだAIの機能が、逆に歴史をねじ曲げる誤情報を大量生産してしまった事例です。
2024年2月、Googleの生成AI「Gemini」の画像生成機能が、実在しない人種構成の歴史的人物を描き出し、世界中で炎上しました。
この記事では、何が起きたのか、Googleほどの企業がなぜ見抜けなかったのか、自社のAI活用にどう活かせるかを整理します。

何が起きたのか

Googleは2024年2月、チャットボット「Bard」を「Gemini」としてリブランドし、写真のような人物画像を作れる新機能を公開しました。
ところが2月20日前後、利用者のSNS(X)投稿が話題になります。第二次世界大戦中のドイツ軍兵士を頼むと黒人やアジア系女性の兵士が描かれ、米国建国の父たちやローマ教皇、ヴァイキング戦士までもが史実と異なる人種構成で生成されていました。
「白人を描いて」という指示に応じない偏りも報告され、Googleは2月22日、人物画像生成の一時停止を発表します。
翌23日には検索・広告部門を統括するプラバカール・ラガヴァン上級副社長が公式ブログで「Gemini画像生成は間違っていた」と認めました。
2月26日には親会社Alphabetの株価が一時4%超下落し、時価総額約900億ドル(当時のレートで約13兆円超)が一日で失われました。

なぜ失敗したのか

「多様な人々を描く」調整が、歴史的事実として多様性を反映すべきでない場面にも一律に適用されていた
偏りを避ける安全対策が過剰に働き、モデルが慎重になりすぎて一部の指示に応じなくなっていた
歴史上の人物など「事実に基づく描写」が必要なケースを、通常の創作的な画像生成と区別する仕組みがなかった
競合との開発競争を意識し機能公開を急いだ結果、多様な質問パターンでの事前検証が不十分だった
「炎上しそうな組み合わせ」を洗い出す社内テストの範囲が、想定より狭かった

企業はどう対応したのか

Googleはまず2月22日、Gemini上での人物画像生成機能を一時停止しました。
翌日にはラガヴァン氏がブログで、「多様性確保の調整が適用すべきでない場面を想定できていなかった」こと、「モデルが必要以上に慎重になり一部指示に応じなくなった」ことを要因に挙げました。
2月28日にはCEOのサンダー・ピチャイ氏が全社員向けメモで「生成された一部の画像は偏見を示すもので不快だった。完全に許容できず、間違いを犯した」と述べたとNPRが報じています。
その後、技術の再調整や社内テストの強化を進め、停止から半年以上経った8月29日、まず有料プラン向けに制限付きで人物画像生成を再開しました。

この事例から学べること

「多様性への配慮」のような善意の安全対策も、文脈を区別せず一律適用すると事実を歪める新たな問題を生む
AIのガードレールは追加するほど安全になるわけではなく、過剰な拒否など副作用の検証が欠かせない
資金も技術力もある大企業でも、公開を急げば初歩的な確認漏れが起きる。企業規模はチェック不足の防波堤にならない
AI機能の不具合は拡散が非常に速く、数日で株式市場の評価にまで影響しうる
問題が経営レベルの信頼問題に発展すると、現場対応だけでなくCEO謝罪まで一気にエスカレートする
一度停止した機能を安全に再開するには半年単位の時間がかかり、拙速な公開は後の機会損失を招く

今日から実践できる対策

AIに公平性・多様性の配慮を組み込む際は「適用すべき場面」と「適用すべきでない場面」を切り分けて設計する
新機能の公開前に、問題を起こしそうな質問パターンを集めてテストする「レッドチーミング」を必ず実施する
社内の均一な視点だけでなく、多様な立場のレビュアーによる事前チェックを組み込む
競合対応やスケジュールを理由に安全性検証を省略・短縮しない
問題発生時にすぐ機能を止められる「キルスイッチ」的な仕組みを用意しておく
SNS上の反応をリアルタイムで監視し、炎上の兆候を早期に検知できる体制を整える

まとめ

Googleのような技術力のある大企業でも、「多様性への配慮」という善意の設計が、歴史を歪める誤情報を大量生産する事態を防げませんでした。原因は技術力不足ではなく、安全対策の副作用を検証しないまま公開したことにあります。良い意図で追加した機能ほど、文脈に応じた例外設計と事前テストが欠かせないと教えてくれる事例です。