今日のAI失敗事例_人間スタッフを解雇した直後、摂食障害相談AIが「もっと痩せて」と助言した理由

2026年8月12日 19:59

はじめに

結論から言うと、摂食障害の相談を受けていた非営利団体が、人間の相談スタッフを解雇し、代わりに導入したAIチャットボットが、当事者に「体重を減らせ」という逆効果のアドバイスを繰り返していた事例です。
しかもそのAIの危険な回答は、委託先ベンダーが無断で追加した生成AI機能が原因でした。
この記事では、何が起きたのか、なぜ防げなかったのか、自社のAI活用にどう活かせるかを整理します。

何が起きたのか

米国の非営利団体NEDA(全米摂食障害協会)は、20年以上にわたり電話やチャットで摂食障害の相談に応じる「ヘルプライン」を運営し、有給スタッフ6人と200人超のボランティアが対応していました。
2023年3月17日、ヘルプラインのスタッフは労働組合を結成する投票を可決し、全米通信労働組合(CWA)傘下の「Helpline Associates United」を発足させます。
その約2週間後、NEDAの暫定CEOエリザベス・トンプソン氏は、6月1日付でヘルプラインを廃止し、相談者をAIチャットボット「Tessa」に案内すると発表しました。スタッフ側は組合結成への報復だとして、全米労働関係委員会(NLRB)に不当労働行為の申し立てを行いましたが、NEDAは「経営上の理由」だと説明しています。
Tessaはもともと2018年からNEDAの助成を受け、ワシントン大学のエレン・フィッツシモンズ=クラフト氏やスタンフォード大学のC・バー・テイラー氏らが開発した、あらかじめ用意された台本どおりにしか答えない「ルールベース型」のチャットボットでした。
ところが運営を委託していたベンダーCass社(旧X2AI)が2022年末、NEDAに無断で生成AI機能を追加していたことが後に判明します。この変更によりTessaは台本にない自由な回答を生成できるようになっていました。
2023年5月末、摂食障害の啓発活動家シャロン・マクスウェル氏がTessaを試したところ、体重を週1〜2ポンド減らす、1日の摂取カロリーを2000kcal以内に抑える、500〜1000kcalのカロリー赤字を作る、体脂肪をキャリパーで測るといった、摂食障害を悪化させかねない助言を受けました。NPRの報道によると、マクスウェル氏は5月30日にInstagramでスクリーンショットを公開し、「自分が摂食障害だった当時にこの助言を見ていたら、助けを求めなかったかもしれない」と警鐘を鳴らしました。
NEDAは当初この指摘を否定する投稿をしましたが、証拠を突きつけられて削除。BBCの報道によると、同日NEDAはTessaを無期限で停止すると発表しました。ちょうど人間のヘルプラインが完全廃止されるタイミングと重なり、当事者は人的サポートと安全なAIサポートを同時に失う事態となりました。

なぜ失敗したのか

委託先ベンダーが無断でチャットボットに生成AI機能を追加し、台本どおりの安全な応答から予測不能な自由回答に変わったことに、NEDA自身が気づいていなかった
摂食障害という「言葉一つが命に関わる」領域向けのAIを、十分な安全性テストをしないまま稼働させ続けていた
人間のヘルプライン廃止とAIの本格運用のタイミングが重なり、代替のセーフティネットが存在しない空白期間を作ってしまった
ベンダーとの委託契約に、機能変更を事前に通知・承認する仕組みが盛り込まれていなかった
労務問題への対応を急いだことが、AI導入の安全性検証よりも「早期の代替手段確保」を優先させる結果につながった

企業はどう対応したのか

NEDAのトンプソンCEOは、Tessaが出した助言について「当協会の方針や理念に反するものだ」とコメントし、Tessaを無期限で停止しました。
The Registerの報道によると、NEDAはこの問題の原因を、ベンダーCass社が無断でTessaに生成AI機能を追加したことにあると説明し、Cass社側の責任を強調しました。Cass社創業者のミヒール・ラウズ氏も、2022年末にシステムを更新し、生成AIを活用した「拡張質問応答機能」を追加した事実を認めています。
一方、ヘルプラインスタッフの解雇と組合結成の関係については、NEDAは一貫して「経営上の理由」と説明しており、労使間の対立はNLRBへの申し立てという形で残りました。NEDA公式サイトを見る限り、現在も電話・チャットでの有人ヘルプラインは復活しておらず、オンラインの自己診断ツールと支援機関の紹介ページが案内の中心になっています。

この事例から学べること

委託先ベンダーがシステムに加えた変更が、発注者の知らないうちにサービスの安全性を根本から変えてしまうことがある
「ルールベースだから安全」という前提は、裏側の実装が変わった瞬間に崩れる。定期的な動作確認が欠かせない
健康や命に関わる領域のAIは、通常のチャットボット以上に厳格な事前検証と継続的なモニタリングが必要になる
人的サポートを削減・廃止するタイミングで代替AIが十分に検証されていないと、利用者が二重に不利益を被る
労務対応など他の経営判断のスケジュールに引きずられると、AI導入の安全性確認が後回しにされやすい
当事者や現場の声(今回は活動家によるSNS投稿)が、企業の公式発表よりも早く問題を可視化することがある

今日から実践できる対策

外部ベンダーに委託しているAIシステムについて、仕様変更や機能追加を事前に通知・承認させる契約条項を設ける
健康・法律・お金など「間違うと実害が出る」分野のAI回答は、人間の専門家が事前に承認した内容に限定する
AIサービスの回答内容を定期的にサンプリングし、意図しない変化が起きていないか継続的にチェックする
人的サポート体制を縮小・廃止する場合は、代替のAIが十分な検証を経てから切り替える重複期間を設ける
労務対応など他の経営判断のスケジュールを理由に、AIの安全性確認を省略しない
SNSなど利用者の声を早期にキャッチし、問題の兆候を公式発表より前に把握できる体制を整える

まとめ

NEDAのAIチャットボットTessaは、摂食障害の相談者に体重管理や食事制限を勧めるという、支援とは正反対の助言をしてしまいました。原因は委託先が無断で追加した生成AI機能と、検証不足のまま人的サポートを廃止したタイミングが重なったことです。命に関わる分野でのAI活用ほど、ベンダー管理と継続的な検証が欠かせないと教えてくれる事例です。