
水の計算㊻ アンケートと試験の読み方 ── n、p、そして「どう測ったか」
「10人中9人が実感」「臨床試験で効果を確認」「満足度95%」。広告で最もよく見る数字は、水の性質ではなく、人に聞いた結果だ。何人に聞いたか(n)、偶然でもその結果が出る確率はどれだけか(p)、どう測ったか。この三つで、数字の重さを確かめられる。この連載の最後の式として置く。
式
割合のぶれ(95%の幅、ウィルソンの方法)
中心 ± 幅 = [ p̂ + z²/2n ± z √( p̂(1−p̂)/n + z²/4n² ) ] ÷ ( 1 + z²/n )
大きな調査のぶれの目安
± 1.96 × √( p̂(1−p̂) / n )
差を見つけるのに要る人数(2群を比べるとき、1群あたり)
n = 2 × ( z_α/2 + z_β )² × σ² / Δ²
p値(二項分布の例)
p = 偶然だけでも、n 人中 k 人以上がそう答える確率
記号の意味
n:答えた人の数
p̂:「はい」と答えた割合
z:95%なら1.96
σ:測る値のばらつき(標準偏差)
Δ:見つけたい差の大きさ
z_α/2 + z_β:5%の確率で間違える基準と、80%の確率で差を見つける力のとき、1.96+0.84。2乗すると約7.85
p値:「効果がない」と仮定したとき、その結果か、もっと極端な結果が偶然出る確率
計算例
例1 10人中9人(計算)。 95%の幅は60〜98%。10人中10人でも72〜100%、10人中8人なら49〜94%。100人中90人なら83〜94%。人数が少ないと、幅は広い。
例2 大きな調査(計算)。 1,000人に聞いて50%なら、ぶれは±約3.1%。100人なら±約9.8%。
例3 p値は「何と比べたか」で変わる(計算)。 10人中9人が「実感した」とする。
何もしなくても半分が「実感した」と答えるなら、偶然9人以上になる確率は約1.1%
何もしなくても7割が答えるなら、約15%
何もしなくても8割が答えるなら、約38%
何もしない群(対照)を置かなければ、比べる基準が決まらず、p値は置いた仮定しだいで変わる。
例4 要る人数(計算)。 差の大きさ Δ を、ばらつき σ で割った値(効果量)が0.8なら1群25人、0.5なら63人、0.2なら393人。小さな差ほど、多くの人が要る。
例5 プラセボ。 偽の処置と、何もしない場合を比べた114の試験をまとめた研究では、「治った・治らない」のような結果では偽の処置の効果は見られず、痛みのような本人の感じ方の結果では効果が見られ、大きな試験ほど小さくなった(Hróbjartsson、Gøtzsche、2001年)。「実感」は、感じ方の結果だ。
どう測ったか(式の前に確かめること)
比べる相手がいるか(対照)。 使った人だけに聞いた「実感」は、何もしなくても起きる変化(自然に治る、平均に戻る)と区別できない。
どちらか知らせていないか(盲検)。 使う人も測る人も、どちらが本物か知っていると、答えも測り方も寄る。
誰に聞いたか(選び方)。 自分から申し込んだ人、買った人、社員や家族に聞くと、答えは偏る。消費者庁の指針は、こうした体験談には統計的な客観性がなく、無作為に選んだ十分な数の人が必要だとしている。
何人が答えなかったか(回答率)。 1,000人に送って100人が答えた「満足度95%」は、答えた100人の中の95人だ。
何をどう聞いたか(質問)。 「〇〇を実感しましたか」と、はい・いいえで聞けば、はいに寄る(一般的な説明)。測れる物(体重、検査値、収量)を、決めた方法で測ったかを聞く。
どこで決まっていたか(事前の登録)。 何を比べるかを試験の前に決めず、後から良かった結果だけを選ぶと、偶然の当たりが「効果」に見える(一般的な説明)。
この式で確かめられる広告表現
「10人中9人が実感」「満足度95%」 → 何人に聞き、何人が答え、何もしない群と比べたかを聞く。幅を計算する。
「臨床試験で効果を確認」 → 対照があるか、無作為に分けたか、どちらか知らせずに行ったか、何人か、p値と差の大きさはいくつかを聞く。景品表示法の不実証広告規制では、事業者は、表示を裏づける合理的な根拠を、求められてから原则15日以内に出す必要がある。
「機能性表示食品」 → 国が一つずつ審査したものではなく、事業者が届け出たものだ。臨床試験か研究レビューかで、表示の書き方が決まっている。
この式が出てくる回
磁気活水器は、並べて比べると何が残るのか:第29話
AIに貼るだけで、広告の「途切れるところ」が見える:第31話
水の計算㉘ 抽出率、㉝ 不検出の意味、㊵ 水素水の水素は何モルか/体験談と、共有の前の一秒:番外「体験談は、なぜ信じられて広がるのか」/平均とばらつき、お湯と水の凍り方:第67話
参照
要る人数の式:ペンシルベニア州立大学 STAT 509 https://online.stat.psu.edu/stat509/book/export/html/665
割合の幅(ウィルソンの方法):米国国立標準技術研究所 https://itl.nist.gov/div898/software/dataplot/refman1/auxillar/propconf.htm
プラセボの研究:Hróbjartsson、Gøtzsche、New England Journal of Medicine(2001年)の紹介 https://www.aafp.org/afp/2001/1201/p1886.html
不実証広告規制の指針:日本法令外国語訳データベース https://www.japaneselawtranslation.go.jp/ja/notices/view/123
機能性表示食品:消費者庁 https://www.caa.go.jp/notice/assets/150810_1.pdf
有路友一/株式会社ARIJICS(MOLECULE)