見出し画像

今日のAI失敗事例_Deloitteが4300万円の政府報告書にAIの「存在しない本」を引用させていた話

はじめに

「世界最大級のコンサルファームなら、AIの嘘くらい見抜けるはず」——そう思っていた人ほど衝撃を受ける事例です。
結論から言うと、Deloitte(デロイト)のオーストラリア法人が、政府に提出した約4300万円の報告書に、生成AIが作り出した「実在しない本」や「捏造された判決文」をそのまま引用してしまい、政府から一部返金を求められる事態になりました。
この記事を読むと、(1)世界的な大企業でもなぜAIの誤りを見抜けなかったのか (2)AIの「ハルシネーション(もっともらしい嘘)」がどう業務に紛れ込むのか (3)自分の仕事でAIを使うときに何をチェックすべきか、が分かります。


何が起きたのか

世界4大会計事務所(Big4)の一角として知られるDeloitte。2024年12月から2025年6月にかけて、そのオーストラリア法人はオーストラリア政府の雇用・職場関係省(DEWR)から、失業給付の自動制裁システムを点検する報告書の作成を約44万豪ドル(当時のレートで約4300万円)で受注しました。DEWRはこの業務で生成AI(Azure OpenAI)を使うことを承認していました(DEWR公式サイト)。
2025年7月、237ページの最終報告書が納品・公表されました。ところがこの中には、シドニー大学のリサ・バートン・クロフォード教授が書いたとされる『The Rule of Law and Administrative Justice in the Welfare State』という、実在しない本の引用が含まれていました。さらに、豪州のロボデット問題を扱った「Amato対連邦政府」の連邦裁判所判決からの引用文も、実際には存在しない捏造文であり、判事名まで誤って記載されていました(Fortune報道)。
この誤りに最初に気づいたのは、シドニー大学で福祉・法律を研究するクリス・ラッジ氏でした。彼が報告書を読み込む中で「見たことのない参考文献」が並んでいることに違和感を持ち、指摘したことで問題が表面化しました。


なぜ失敗したのか

  • AIが生成した引用・文献名を、誰も実在するかどうか裏取りしないまま報告書に採用してしまった

  • 「大手ファームの仕事だから間違いはないはず」という思い込みが、チェックを甘くした

  • 政府提出という重要度の高い成果物にもかかわらず、AI活用時の検証プロセスが明文化されていなかった

  • クライアント側もAI活用自体は承認していたが、成果物の最終検証責任が誰にあるか曖昧だった

  • 納期を優先した結果、外部の専門家に指摘されるまで社内で誤りに気づけなかった


企業はどう対応したのか

指摘を受けたDeloitteは、2025年10月に修正版の報告書を公表しました。修正版では捏造された判決文の引用や実在しない参考文献をすべて削除し、新たに「Azure OpenAIをベースにした生成AIツールを一部作成に使用した」という開示文を追加しています。
あわせてDeloitteは契約の最終分割金にあたる約9.7万豪ドル(約940万円)を政府に返金することで合意しました(CFO Dive報道)。ただし返金は契約総額の一部にとどまり、野党グリーンズのバーバラ・ポコック上院議員は「全額を返金すべきだ」と批判しています。Deloitteは取材に対し「本件はクライアントと直接解決済みだ」と説明しました。


この事例から学べること

  • どれほど実績のある大企業・専門家集団でも、AIの「もっともらしい嘘」から逃れられるわけではない

  • AIが出す「引用」「文献名」「固有名詞」は、実在するかを人間が一つずつ確認しないと誤りに気づけない

  • AIをどこまで、どの工程で使ったかを成果物に明記する「開示ルール」が信頼を守る土台になる

  • 「専門家がチェックしているはず」という思い込みこそが、最大のリスクになりうる

  • AIの誤りは、社内よりも社外の第三者によって発見されることが多く、内部チェックだけに頼るのは危険

  • 一度失った信頼を取り戻すコストは、AIが節約した時間よりもはるかに大きい


今日から実践できる対策

  • AIが出力した引用・数値・固有名詞は、必ず検索エンジンや一次情報で実在を確認する

  • 社内で「AIをどの工程まで使ってよいか」というルールを具体的に文書化する

  • 顧客や上司に提出する前に、AIをどこで使ったかを成果物に明記する運用にする

  • 重要な提出物は、作成担当者とAI出力を確認する担当者を分けてダブルチェックする

  • 自社の資料を「これはAIが作った可能性がある」という目で定期的に見直す習慣をつける


まとめ

世界的な大手コンサルファームでさえ、生成AIが作った実在しない本や捏造の判決文を見抜けず、政府への報告書で信頼を損ない、返金という代償を払いました。AIは「優秀だが平気で嘘をつく新人」だと思って向き合うくらいがちょうどいいのかもしれません。「AIが作ったのだから正しいはず」という思い込みを捨て、出力を自分の目と一次情報で確かめる習慣こそが、これからのビジネスパーソンに欠かせません。


関連キーワード

Deloitte, デロイト, AI失敗事例, ハルシネーション, 生成AI, ChatGPT, Azure OpenAI, オーストラリア政府, AIガバナンス, AI導入リスク, コンサルティング, AI引用捏造, ビジネスAI活用, AIリテラシー, DX失敗事例, AIチェック体制, プロフェッショナルファーム, 業務効率化, AI監修, 情報の裏取り, ビッグ4, AI検証
#生成AI #AI失敗事例 #Deloitte #デロイト #AIガバナンス #ハルシネーション #DX #AIリテラシー


いいなと思ったら応援しよう!