メインコンテンツへスキップ
見出し画像

数字に騙されないための統計学|生存者バイアス・p値ハッキング・チェリーピッキング・疑似相関・ミスリーディングなグラフ etc

    はじめに

    「売上が前年比150%」
    「統計的に有意な改善」
    「成功者の9割が実践」

    こうした数字を見ると、何となく信頼できそうに感じませんか?ところが、数字自体が正しくても、データの集め方・分析方法・見せ方によって、受け手が誤った結論を導くことがあります。中には意図的に結論を誘導する行為もあれば、分析者自身が気付かずに起こす誤りもあります。

    本記事では、p値ハッキング、チェリーピッキング、シンプソンのパラドックス、生存者バイアスを中心に、統計・データ分析の代表的な落とし穴を10項目で解説します。応用情報技術者試験(AP)などのIPA試験対策だけでなく、日々のニュースや業務でのデータ分析にも役立つ内容です。

    1.p値ハッキング|「有意差が出るまで」試してしまう

    p値ハッキング(p-hacking)とは、検定方法・分析対象・除外条件・分析のタイミングなどを結果を見ながら変え、「統計的に有意な結果」を探し当て、それを十分な説明なしに強調する行為です。

    たとえば新商品の広告効果を検証するとき、次のような分析を考えます。

    • 全顧客で比較 → 有意差なし

    • 20代だけで比較 → 有意差なし

    • スマートフォン利用者だけで比較 → 有意差なし

    • 特定の期間に限って比較 → p値が0.04

    最後の分析だけを「効果が証明された」と報告すれば、結果の信頼性を過大に見せてしまいます。探索的分析をすること自体は有用ですが、探索の過程を隠し、事前に決めた検証のように扱うことが問題です。

    なぜp値ハッキングは危険なのか?

    p値は、帰無仮説と統計モデルの前提の下で、観測結果と同程度以上に極端な結果が得られる確率です。

    「帰無仮説が正しい確率」でも「偶然だった確率」でもありません。

    例えば、効果がない帰無仮説の下で、互いに独立な検定を20回行い、各検定の有意水準を5%と仮定します。少なくとも1回は誤って有意になる確率は、

    P(1回以上の偽陽性)=1−(1−0.05)20P(\text{1回以上の偽陽性})=1-(1-0.05)^{20}

    ≈0.6415\approx0.6415

    つまり約64.2%です。これは20回の検定が独立であることなどを仮定した、多重検定の問題を示す単純化した例です。

    画像

    対策

    • 分析計画を事前に決める

    • 検定回数や除外条件を記録する

    • 必要に応じて多重比較補正を行う

    • 探索的分析と検証的分析を区別する

    • p値だけでなく、効果量や信頼区間も確認する

    2.チェリーピッキング|都合の良いデータだけを選ぶ

    チェリーピッキング(cherry-picking)とは、自分の主張に都合の良い観測値、期間、事例などを選び、不利な情報を無視または目立たなくすることです。

    例えば、1月と12月の売上指数がどちらも90である一方、4〜7月に99→104→109→112と増えたとします。4〜7月だけを見せれば「売上は右肩上がり」と言えそうですが、通年で増え続けていたわけではありません。ここでの落とし穴は、提示された数値自体に誤りがないことです。データが正確であっても、情報が不完全なら結論が誤ることがあります。

    画像

    対策
    データの対象期間・抽出条件・採用しなかったデータの存在を明らかにすることです。なお、目的に応じてデータを絞り込むこと自体が問題なのではありません。条件の妥当性と説明責任が重要です。

    3.シンプソンのパラドックス|グループ別と全体で結論が逆転

    シンプソンのパラドックス(Simpson's paradox)は、グループ別に見た傾向が、全体を集計すると消えたり逆転したりする統計現象です。

    具体例:広告施策AとB、優れているのはどちら?

    架空の広告施策A・Bを、既存顧客・新規顧客に配信したとします。購入率は次のとおりです。

    画像

    既存顧客でも新規顧客でも施策Bの購入率が高いのに、全体では施策Aが高くなります。これは施策Aが購入しやすい既存顧客に多く、施策Bが新規顧客に多く配信されたためです。顧客区分という交絡要因と、各区分におけるサンプル数の違いが集計結果に影響しています。

    画像

    ただし、ここから「Bの方が必ず因果的に優れている」とまでは断定できません。施策の割当てや顧客の属性が偏っているため、因果効果の推定には適切な実験設計や交絡調整が必要です。

    画像

    実際に起きたシンプソンのパラドックス

    有名な研究事例として、1973年の米カリフォルニア大学バークレー校の大学院入学データがあります。全体の合格率だけでは女性に不利に見えましたが、学科ごとに検討すると、志願先の学科の難易度の違いが重要だったことが明らかになりました。この分析は1975年に論文が発表されています。

    対策
    全体集計だけでなく、重要な属性で層別集計することが基本です。ただし、層別する変数の選択には因果関係の知識が必要で、機械的に細分化すればよいわけではありません。

    4.生存者バイアス|「生き残った例」だけから判断する

    生存者バイアス(survivorship bias)は、観測できた成功例・生存例だけに注目し、観測から抜け落ちた失敗例を考慮しないことです。

    選択バイアスの一種として捉えられます。

    有名な航空機の事例

    代表的な歴史上の例が、第二次世界大戦期の航空機の防弾補強です。帰還できた機体の弾痕だけを調べると、翼など弾痕の多い部分を強化したくなります。しかし、弾痕が少ない重要部分に当たった機体は、そもそも帰還できなかった可能性があります。つまり、観測できているデータが、調べたい集団全体を代表しているとは限らないのです。

    この問題に関する統計学者アブラハム・ウォルド(Abraham Wald)の研究は、1984年の学術論文でも解説されています。身近な例では、成功した起業家だけに「起業の成功法」を聞くケースがあります。同じ行動をして失敗した起業家を含めなければ、その行動の有効性は判断できません。

    対策
    誰が調査から欠けているか、失敗者・退会者・途中離脱者が母集団に含まれるかを確認しましょう。

    画像


    5.選択バイアス|データの集め方が偏る

    アンケートを「自社製品のファンコミュニティ」だけで行うと、一般消費者全体より高い満足度が出やすくなります。こうした標本の選ばれ方による体系的な偏りが選択バイアスです。

    関連する用語として、次のものがあります。

    • 自己選択バイアス: 回答したい人だけがアンケートに答える

    • 非回答バイアス: 回答しない人の特徴が結果を偏らせる

    • 生存者バイアス: 生存者・継続者だけを調査する

    無作為抽出や適切な層化、非回答の検討などで対策します。
    「回答者数が多い」ことだけでは偏りは解決しません。

    6.交絡・疑似相関|第三の変数を見落とす

    「アイスクリームの売上が増えると水難事故も増える」という例を考えます。両者に相関があったとしても、アイスクリームが事故を引き起こすとは言えません。気温や季節など、両方に関係する第三の変数が存在し得るためです。

    交絡を考える基本形は、

    • 気温 → アイスクリームの売上

    • 気温 → 水辺の活動量・事故リスク

    という関係です。

    ただし、実際の因果関係は追加の検証が必要です。
    相関係数が大きいことと、因果関係があることは別です。

    対策
    因果ダイアグラム、交絡変数の検討、ランダム化比較試験、回帰分析などを目的に応じて使い分けます。

    7.生態学的誤謬|集団の傾向を個人に当てはめる

    「高所得者が多い地域ほど、あるサービスの利用率が高い」という地域単位のデータがあっても、「高所得の個人ほどそのサービスを使う」とは断定できません。

    集団レベルの関連から、個人レベルの関連を推測する誤りを、生態学的誤謬(ecological fallacy)と呼びます。集計単位が違えば、言えることも変わる点が重要です。

    8.基準率の無視|99%正確でも誤判定が多い?

    ある不正検知システムで、次の条件を仮定します。

    • 不正取引は全体の1%

    • 不正を正しく検知する感度は99%

    • 正常取引を正しく正常と判定する特異度も99%

    10,000件のうち、期待される件数で考えると、不正100件のうち99件を検知します。一方、正常9,900件のうち99件が誤って警告されます。

    よって警告が出た取引が本当に不正である割合(陽性的中率)は、

    P(不正∣警告)=9999+99=50P(\text{不正}\mid\text{警告}) =\frac{99}{99+99} =50%

    となります。

    「感度も特異度も99%だから、警告の99%は正しい」と考えるのは誤りです。元々の発生頻度(基準率)を考慮しましょう。

    9.平均への回帰|改善したのは施策の効果?

    極端に悪い成績を取った部署に対策を実施したところ、翌月の成績が改善したとします。しかし、偶然大きく落ち込んでいた月の次には、施策がなくても平均的な水準に戻る可能性があります。

    極端な観測の後に、次回の観測が平均へ近づきやすい現象を平均への回帰(regression to the mean)といいます。比較対象となる対照群を設ける、実施前の複数時点を比較するなどして、施策の効果と自然な変動を区別します。

    10.ミスリーディングなグラフ|同じ数値を違って見せる

    数値を改ざんしなくても、軸や図の選び方によって印象は変わります。

    代表例として、次のものがあります。

    • 縦軸を0以外から始めた棒グラフ: 小さな差が極端に大きく見えることがある

    • 異なる目盛りの二軸グラフ: 無関係な系列が連動して見えることがある

    • 3D棒グラフ: 遠近感や面積で値を誤認しやすい

    • 母数の非表示: 100件中90件と10件中9件を同じ「90%」だけで示す

    なお、棒グラフ以外の折れ線グラフなどでは、0起点が常に必須というわけではありません。図の目的に対して、目盛りやデータ範囲を正しく伝えているかが判断基準です。

    画像

    似ている用語も整理:HARKing・出版バイアス・グッドハートの法則

    ここまでの10項目に加え、周辺用語も押さえておきましょう。

    HARKing(Hypothesizing After the Results are Known)
    結果を見てから仮説を立てたのに、最初から予測していたように報告することです。

    出版バイアス(publication bias)
    有意な結果や肯定的な結果が公表されやすく、公開された研究全体が偏ることです。

    多重比較問題(multiple comparisons)
    多数の仮説を検定すると、偶然の偽陽性が増える問題です。p値ハッキングと関連しますが、同じ意味ではありません。

    グッドハートの法則(Goodhart's law)
    指標を目標にすると、指標だけを改善する行動によって、本来測りたかった成果を適切に表さなくなるという考え方です。

    IPA試験で意識したいポイント

    IPAが公表する応用情報技術者試験シラバス Ver.7.2(2026年1月8日掲載)には、データ分析での選択バイアス・情報バイアス・交絡バイアス、認知バイアス、適切なデータ可視化、不適切なグラフ表現などが記載されています。

    まずは公式に明記されたバイアスと可視化の考え方を優先して理解し、関連知識としてp値ハッキングやパラドックスを補強するのが効率的です。試験問題や実務では、次の5点を確認すると誤った結論に気付きやすくなります。

    1. 母集団・標本: どの集団の、誰のデータか?

    2. 比較条件: 比べる集団や期間は公平か?

    3. 分析過程: 後から条件を変え、都合の良い結果だけ報告していないか?

    4. 交絡要因: 第三の変数や集計単位による逆転はないか?

    5. 見せ方: 軸・割合の分母・欠落したデータを確認したか?

    まとめ|「数字が正しい」と「結論が正しい」は別

    統計は、不確かな世界をより正確に理解するための道具です。しかし、数字の根拠、母集団、分析方法、可視化を確認しなければ、データから逆の結論を導いてしまうことがあります。

    • p値ハッキング: 分析過程が問題

    • チェリーピッキング: 情報の選別が問題

    • シンプソンのパラドックス: 集計構造による逆転

    • 生存者バイアス: 観測対象の欠落が問題

    何が原因で結論が歪むかを区別しておけば、IPA試験にも日常の情報判断にも応用できます。


    関連記事


    参考文献

     
     
    IT資格の勉強法・合格ノウハウを発信。 書籍では追いにくい最新技術や最新動向まで。 試験対策だけでなく実務にも活きる知識をお届け。 【保有資格】 ・IPA:FE、AP、SC ・DB:OracleDB-Gold、OSSDB-Gold ・Cloud:AWS-SAP、OCI-AP

    あなたへのおすすめ