ｐ値だけ見てても何も判断できないって、どういうこと？：帰無仮説検定とは何か〜過去メモ供養シリーズ（3）
過去メモ供養シリーズ、2つ目のネタは、帰無仮説検定について。仮説検定については、勉強し始めたばかりの頃はとくに、わからないことが多かった。それは時代が令和になっても、学ぶ人が変わっても、AIが登場しても、案外変わらないのではないか。
この文章を読んだら、一発ですっきりわかります！ などということはない。そんな魔法のような文章は私には書けないし、書こうとも思わない。そんな文章があったら案外あやしいと思った方がいいだろう。
というわけで、例によって、役に立つのかたたないのか、わからない独り言である。
例題1
ある調査をして、2つの変数の相関を調べたら次のような結果が出たとしよう。
変数$${Ａ}$$と変数$${Ｂ}$$の相関：$${r = .38 \quad ( p<.05 )}$$
変数$${Ｃ}$$と変数$${Ｄ}$$の相関：$${r = .12 \quad ( p<.001)}$$
変数$${Ｅ}$$と変数$${Ｆ}$$の相関：$${r = .52 \quad ( n.s. )}$$
どうやったらこんなデータが出るかどうかはさておいて、この3つの結果のうち、論文でいちばん強く主張できるのはどれだろうか。
おそらく、「プロットが示されていないから判断できない」というのがもっとも冷静な答だろう。情報不足で答えられません、という回答である。ごもっとも。
相関係数というのは、2つのデータが一次関数的な（＝直線的な）関係をもっているかどうかを調べている。相関係数の絶対値が1に近ければ、そのような関係性が強いと判断できる。
しかし、二次関数的な関係、あるいはもっと複雑な関係をもっているとき、相関係数が０に近い値を示すことがある。
では、上掲の例で、3つとも直線的な関係が想定されるデータであるという前提で、もう一度。理論的にも、プロット的にも、曲線的な関係はありえないとしたらどうだろうか。
例題2
これはどうだろう。ある調査をして、２群の平均値を比較したら、次のような結果になった。論文でいちばん強く主張できるのはどれだろう。
変数$${a}$$と変数$${b}$$の差：$${p<.001}$$
変数$${c}$$と変数$${d}$$の差：$${p<.05}$$
変数$${e}$$と変数$${f}$$の差：$${p<.30}$$
これはけっこう簡単で、大事な情報が書いてないから判断できない、というのが冷静な答え。ではその大事な情報とは何だろう。
帰無仮説検定とは
帰無仮説検定とはそもそも何だろうか。
私たちは、調査や実験から、つまり集められたデータをもとに計算した統計量からは、母数を完全に推定することはできない。
たとえば母集団の比率（たとえばある意見に賛成の割合）が30％よりも高く、45％くらいだ、ということは、推測統計の範囲では証明できない。
そこでどうするか。仮説検定の考え方はこうである。
母集団の比率が30％であると仮定する（＝これが「帰無仮説」）。しかし今回の調査ではこのような数値（たとえば42％という比率）が出た。これは検定の結果、確率的に5％未満しか出現しない値だとわかった。
こういうめったに起こらない結果が出たということは，
「いやあ，珍しい結果だったねえ。」
ということで終わりにするんじゃなくて、
「そもそもはじめの〈仮定〉が違うんじゃねえの？」
と疑問をもちなさい、ということになって、
「母集団の比率が30％であると仮定したのはまずかったようだ」
ということになる。で、結論として、「母集団の比率＝30％」という帰無仮説を棄却することになる。
重要なのはその代わりに採択する「対立仮説」である。この場合の対立仮説は「母集団の比率は45％だ」ではない。「母集団の比率は30％より高い」でもない。対立仮説は、
「《母集団の比率は30％である》とはいえない」
だ。つまりここで言えるのは「$${\ne}$$」（ノットイコール）であり，決して「$${=}$$」でも「$${gt}$$」でもない。
なぜなら、対立仮説は、帰無仮説の否定の形で、わりと自動的に設定されるものだからである。帰無仮説が「$${p=0.3}$$」だったので、対立仮説は「$${p\ne 0.3}$$」になる。「イコール」の否定は「ノットイコール」でしょ、という、ある意味とても単純な話なのだ。（片側検定だと少々事情がことなるが，話がややこしくなるので省略する）
有意
それでは「有意」はどういう意味になるかというと、たとえば今の話では、
《帰無仮説の元では5％未満しか出現しないめずらしい値だった》ということで帰無仮説を棄却した。これが「有意水準５％で統計的に有意」といえる状態なのだが、これは同時に「5％の確率で間違っているかもしれない結論です」を含意する。
なぜなら、5％未満しか出現しないめずらしい値であったということは、
たとえ5％未満であろうとそうした値になる可能性を残しているからである。帰無仮説が正しいとしたとき、決してそのような値は出ません、といっているのではない。
（寄り道するが、この文章の中の「帰無仮説の元で」とか「帰無仮説が正しいとしたとき」とかいう表現もまたやっかいで、わたしはこれがちっとも腑に落ちなかった記憶がある。が、長くなるのでここでは書かない）
ただし、（上の話からここへ一段飛躍する感じがあるのだが）である。
帰無仮説と対立仮説のどちらかを選ぶとするなら、対立仮説を選ぶ、なぜなら、検定の結果が「統計的に有意」だったから。
そういう判断をしたなら、そのあとは、「5％未満の確率で間違っている可能性」を心の奥にいだきつつ、「比率は30％ではありません。少なくともそれより高いはずです」と主張する。主張して良いのだ。
そんなことして、間違ってたらどうするんだ。
そういう心配は確かにあるのだが、その時はその時。「お見事です。わたくしが間違っておりました」と認めるまでである。それが科学だ。
重要なことはもうひとつあって、5％が1％になっても基本的には何も変わらないということである。この値は確率的に1％未満しか出現しないめずらしい値です、といって帰無仮説を棄却しても、結論である対立仮説が別のものに変わるわけではない。言えるのは「$${\ne}$$」（ノットイコール）でしかない。間違えている確率が、5％から1％に下がっているので、安心感が（誰の安心感だろう？）ちょっと増しているかもしれないだけである。
重要なことはさらにあって、計算されるｐ値は実はサンプルサイズの影響をうけている。サンプルサイズが増えればｐ値は小さくなる傾向にある。そして、たった1つサンプルを追加しただけでも、ｐ値は「有意差なし」から「5％有意」になることもある。
p=.51がp=.49になればそれでいいのか
そんなことあるのか、と思うかもしれないが、そうなるように調整してデータを作れば簡単に示せる。ｐ値を少し下げるのは意外に簡単にできてしまう、ということは知っておいて損はないだろう。だったらちょいと加工してｐ値を下げてやれ、というのはもちろん不正である。捏造である。そもそも、ｐ値が$${p=.51}$$（有意じゃない！）であるのと、$${p=.49}$$（5％有意！！）であることとの間に、何か本質的な違いがあるわけではない。
ところが、そうした不正に近いような研究が実際行われているのではないかという疑問が提起されているのも事実らしい。有意な結果が得られるまでデータを収集し、有意になったらやめるという方法である。「かならず有意な結果を出します」という宣伝文句を掲げていた調査機関があったが、ちょっと調べてみたら上に書いたことと同じようなことが書かれていた。そんなことしてどうする。
ふたたび冒頭の例題について
冒頭の例題に戻る。
統計的に有意な結果でないと、結論を主張できない、論文を出版できない、そういう実態があるのは事実のようだ。が、いくら有意な結果とはいえ、$${p=.12}$$という相関係数に本当に意味があるのかは検討しなくてはならないし（プロットを描けばすぐにわかる）、$${p=.52}$$という高い（心理学の調査や実験でこんな値が出ることはわりと稀である）相関係数が有意にならないのは、サンプルサイズが足りないからかもしれない。もうすこし厳密なサンプル設計をして、あらたな調査を計画するのもいいかもしれない。
ｔ検定のほうは、平均の差がどれくらい差なのかを示さないと話にならない。もちろんサンプルサイズも（相関係数のほうもサンプルサイズは必要だ）。そして効果量と、効果量の信頼区間を示す。これがこのごろのスタンダードだろうと思われる。効果量ってなあに？ という素朴な疑問を持ってしまった方は、これを機にしっかり勉強されるのが良い。
