その割合、何で割った？—数字はウソをつかない。でも、人間の解釈には間違いがある—
先日、弊社GeNiE株式会社は、こんな調査レポートを公開いたしました。
今はVTuberのオタクなので普段はあんまりソシャゲをやらないんですが、過去にはそれなりにソシャゲに課金していた経験もあるので1人のユーザー目線で興味深く読んでいました。そして、このレポートを眺めながら、ふとソシャゲ界隈でまことしやかに囁かれる“あるオカルト”を思い出しました。
「深夜2時にガチャを引くと、SSRが出やすい」というやつです。
改めましてこんにちは、GeNiE企画担当のAyaです。
深夜2時のジンクス、実は私も一時期信じていました。「だって、SNSで神引き（SSRを引くこと）を報告してる人、だいたい深夜2時台に引いてるもん！」と。
でも、少し冷静になれば分かります。
単に「ソシャゲに熱中しているオタクは、深夜2時まで起きている確率が異常に高い（＝深夜2時にガチャを引く人の分母が大きい）だけ」なのです。
「神引きした人の中に深夜2時の人が多い」だけで、「深夜2時に引けば神引きしやすい」わけではありません。
……という、ソシャゲの悲しい勘違いから始まりましたが、今回は少し真面目に、ビジネスにおける「数字と分母」の話をさせてください。
「反応者にAが多い」と「Aは反応しやすい」は別の話
仕事でも「数字を見て判断しましょう」と言われることがあります。もちろん大賛成です。感覚より数字。印象よりデータ。定性より定量。
ただ、怖いのは「数字そのものは完全に正しいのに、結論だけがおかしいケース」です。
たとえば、こんな表があったとします。
反応した人は合計80人。その内訳（構成比）を見ると、Aが62.5％（50人）、Bが37.5％（30人）です。
さて、この数字を見て、
「セグメントAのほうが反応が良い」
と結論づけてよいでしょうか。
……よくないですよね。
それぞれのセグメント全体を分母にして反応率を計算すると、
セグメントA：50 ÷ 5,000 ＝ 1％
セグメントB：30 ÷ 1,000 ＝ 3％
反応者の「人数」はAのほうが多いのに、反応する「割合」はBのほうが3倍高いのです。
「反応した人には、どのセグメントが多いのか」を知りたいなら、反応者80人を分母にするのが正解です。
「どちらのセグメントが反応しやすいのか」を知りたいなら、それぞれのセグメント全体を分母にするのが正解です。
どちらの数字も間違っていません。違うのは、数字が答えている「問い」です。
数字が間違っているわけではなく、こちらが「数字に、答えられない質問をしている」。これが結構怖いんです。
Excelは優秀だけど、忖度はしてくれない
「いやいや、こんな簡単な割り算、間違える人いる？」と思った方もいるかもしれません。条件が2つなら、2×2の表にできるので、平面上で感覚的に処理できます。ただ、実際の効果測定は、それほど単純でないことが多いです。
たとえばABテストで「施策あり／なし」の条件が加わると、こうなります。
【施策あり／なし】 × 【セグメントA／B】 × 【反応あり／なし】
1つ条件が加わることで、急に間違いやすくなります。
（実際、今年に限って言ってもここで間違っている人を3人は目撃しています👀）
知りたいことが「セグメントによって施策効果に違いがあるか？」であれば、本来は「施策ありのAの反応率 vs 施策なしのAの反応率」を比べる必要があります。
ところが、データをこねくり回しているうちに「施策あり群の反応者」だけを抜き出してしまい、
「Aの人が多いですね！ この施策はAに効いたんですね！」
となってしまう瞬間があります。比較対象だったはずの「施策なし」が、いつの間にか宇宙の彼方へ消え去っているのです。
計算ミスではありません。ピボットテーブルは正しくカウントしています。ただ、知りたいことに必要だった条件を一つ落としているだけ。
Excelはそこを怒ってくれません。「その集計結果から、その結論は出せませんよ」なんてポップアップは出ません。指定されたセルを割れと言われたら、黙って従順に割り算してくれます。
条件を間違えていても、数字は「それらしく」なる
この話を突き詰めていくと、高校数学で習った「条件付き確率」にたどり着きます。
P（A｜反応あり）と、P（反応あり｜A）は違う、というやつですね。
急に数学の授業っぽくなりましたが、実務上はもっと雑に「その％、何を分母にしたんだっけ？」と覚えておけば十分だと思っています。
人間はどうも、「結果の中にたくさんいる人 ＝ その結果が起こりやすい人」と読み替えたくなるバグを持っています。分子が大きい理由を考えるなら、分母も見なければならないのに。
（小さい分母に対して施策を打つ価値があるか？っていうのは、また別問題です）
さらに厄介なのは、分母を間違えても「68.7％」「前年比127.3％」みたいな、もっともらしい数字が出てしまうことです。
グラフをきれいに整えてPowerPointに貼り、「セグメントAへの効果が高いと考えられる」とそれっぽい矢印をつければ、もう完全に完成です。数字が細かいと、人は無意識に「ちゃんと分析された結果だ」と信じてしまいます。
会議で一番先に確認する、たったひとつの質問
効果測定というと、数字がいっぱいで難しく感じるかもしれないんですが、私が一番先に確認したいのはもっと地味なことです。
「その構成比って、何を何で割っていますか？」
分子は何か。分母は何か。そして何より、その計算で「本当に知りたい問い」に答えられるのか。
条件が増えると、全体では良く見えるのにセグメントごとに見ると結果が逆転する「シンプソンのパラドックス（Wikipedia）」なんて現象も起きます。人類は昔から、集計した数字に騙されてきた歴史があるようです。
「数字はウソをつかない。でも、人間はウソをつく」
私は昔、これを「都合のいい数字だけを抜き出して人を騙す（悪意あるウソ）」という意味だと思っていました。
でも実務でよく見るのは、もっと善良なウソです。本人は真面目に分析しているし、計算式も正しい。それでも、分母を間違えれば、正しい数字から間違った物語が生まれてしまいます。
だから、数字を見る時は「何を知りたくてこの計算してるんだっけ？」という前提を常に意識するようにしています。
「何が分母なんですか？」
たったそれだけの質問で、急に見える景色が変わることがあります。
皆さんも、会議資料に立派な「○○％」が出てきたら、ぜひ一度、割り算の“下側”を覗き込んでみてください。
「母」って漢字が付くものは、だいたい偉大です。
書いた人：Aya
GeNiEの企画担当、プロダクトマネージャー。「分母違くない？」は比較的すぐ気づくが、ソシャゲのピックアップ確率においては「出るまで引けば実質100%」という己の欲求に忠実な謎理論で生きている。
「ランプの消灯後」は、仕事やプライベートを通じて個人的に感じたことを“ジブンらしく”つづっていく不定期連載です。ランプの魔法が解けたあとのリアルな日常をお届けします。
