見出し画像

心理系大学院受験の効果量と検定力〜「有意差あり」だけでは答案にならない〜

心理系大学院の入試で、こんな問題を見たことはないでしょうか。

「t検定の結果、有意差が認められた(p < .05)。この結果の解釈として適切なものを述べよ」

多くの受験生が、こう書きます。

「有意差が認められたため、A群とB群には差があるといえる」

これでは、点になりません。

正確には、間違ってはいません。でも、採点者が見たいのはその先です。「有意だった/有意でなかった」の二択で止まる答案と、そこから一歩踏み込める答案の差が、そのまま得点差になります。

その一歩が、効果量検定力です。

今回は、この2つをできるだけやさしく整理します。統計が苦手な方でも大丈夫です。数式はほとんど使いません。

1. 「有意差あり」の落とし穴

まず、こう考えてみてください。

サンプルサイズを1万人まで増やせば、ほとんどどんな差でも「有意」になります。

これは統計の欠陥ではなく、仕組みそのものです。

有意性検定は、「偶然でこの差が出る確率(p値)」を計算しています。サンプルが大きくなるほど推定が安定し、標準誤差が小さくなる。すると、実質的にはごくわずかな差でも「偶然ではない」と判定されるようになります。

たとえば、こんな結果を想像してください。

新しい心理療法Aと従来法Bを比較した。1万人を対象にした結果、Aのほうが抑うつ得点が 0.3点 低かった(p < .001)。

p値だけ見れば、堂々たる有意差です。 でも、60点満点の尺度で0.3点の差に、臨床的な意味はあるでしょうか。

逆のパターンもあります。

20人を対象にした結果、Aのほうが抑うつ得点が 8点 低かったが、有意差は認められなかった(p = .08)。

こちらは「有意ではない」。でも8点の差は、臨床的には十分大きい。単にサンプルが少なくて検出できなかっただけかもしれません。

つまり、p値は「差の大きさ」を教えてくれないのです。

この2つの穴を埋めるのが、効果量(差の大きさ)と検定力(検出する力)です。

2. 効果量とは──「どれくらい違うのか」

効果量(effect size)とは、差や関連の大きさを、サンプルサイズに左右されない形で表した指標です。

p値が「偶然かどうか」を答えるのに対し、効果量は「どれくらいか」を答えます。

主な効果量の指標

大きく2つの系統があります。

① d族(差の大きさ)

平均値の差を、標準偏差を単位にして表します。

代表格が Cohen's d です。

d =(群1の平均 − 群2の平均)÷ 標準偏差

「2つの群の平均が、標準偏差いくつぶん離れているか」を表しています。単位が消えるので、テストの点数でも反応時間でも、同じ物差しで比較できます。

② r族(関連の大きさ)

変数どうしの関連の強さを表します。相関係数 r がそのまま効果量として使えます。分散分析では η²(イータ二乗)偏η² を使います。

η² = 効果による変動 ÷ 全体の変動

「結果のばらつきのうち、何割がその要因で説明できるか」という意味です。

効果量の目安

Cohen(1988)が示した基準が、いまも広く使われています。

指標小中大Cohen's d0.200.500.80r.10.30.50η².01.06.14

ただし、この基準は絶対ではありません。

答案でこの点に触れられると、理解の深さが伝わります。分野によって「大きい効果」の意味は変わるからです。教育心理学の介入研究で d = 0.3 なら十分に意義がありますし、逆に基礎的な知覚実験では d = 0.8 でも珍しくありません。

「Cohen の基準はあくまで目安であり、当該領域の先行研究と照らして解釈する必要がある」——この一文が書ければ、それだけで差がつきます。

3. 検定力とは──「見つけられる力」

次は検定力です。ここを理解するには、2種類の誤りを押さえる必要があります。

2種類の誤り

検定では、帰無仮説(差がない、関連がない)を立てて、それを棄却できるかを判断します。このとき、2通りの間違いが起こりえます。

実際は差がない実際は差がある有意と判断第1種の誤り(α)正しい判断(1−β)有意でないと判断正しい判断第2種の誤り(β)

・第1種の誤り(α)は、「ないものを、あると言ってしまう」誤りです。慣例として α = .05 に設定します。これが「p < .05 で有意」の正体です。

・第2種の誤り(β)は、「あるものを、ないと言ってしまう」誤りです。こちらは見落とされがちですが、同じくらい重大です。

そして検定力

検定力(statistical power)= 1 − β

つまり、実際に効果があるとき、それをちゃんと検出できる確率です。

慣例として .80(80%) 以上が望ましいとされます。言い換えると、「効果があるのに見逃してしまう確率を20%以内に抑える」ということです。

検定力が低い研究は、たとえ本当は効果があっても「有意差なし」という結論になってしまいます。これが、先ほどの「20人で8点差なのに p = .08」の正体です。

4. 4つの要素は、つながっている

ここが今回いちばん大事なところです。

次の4つは、相互に決まる関係にあります。

  1. 有意水準(α)

  2. 効果量

  3. サンプルサイズ(n)

  4. 検定力(1−β)

このうち3つが決まれば、残りの1つは自動的に決まります。

これを使うのが検定力分析(power analysis)です。

たとえば、こう考えます。

α = .05、想定される効果量 d = 0.5、検定力 .80 を確保したい → 各群に必要な人数は約64名

このように、研究を始める前に必要なサンプルサイズを算出するのが、事前の検定力分析(a priori power analysis)です。G*Power という無料ソフトが広く使われています。

5. 研究計画書で、ここが効きます

ここまで読んで、「入試の答案の話では?」と思われたかもしれません。

実は、効果量と検定力がいちばん効くのは研究計画書と、その面接です。

面接で必ずと言っていいほど聞かれる質問があります。

「対象者は何名を予定していますか。その根拠は?」

このとき、

「100名くらいを予定しています」

と答えるのと、

「先行研究で報告されている効果量が d = 0.5 程度でしたので、検定力 .80、有意水準 5% で検定力分析を行い、各群64名、計128名を目標としています」

と答えるのとでは、評価がまったく変わります

後者は、「この学生は研究の作法を知っている」と伝わるからです。手法そのものより、根拠をもって数を決めているという姿勢が評価されます。

なお、近年は心理学における再現性の問題(同じ研究をやり直しても結果が再現されない)が大きく議論され、その一因として検定力不足が指摘されてきました。APA の論文執筆マニュアル(第7版)でも、効果量と信頼区間の報告が求められています。この背景まで触れられると、さらに厚みが出ます。

6. 答案の型

論述問題で「結果の解釈を述べよ」と問われたときの、基本の型です。

① 統計的判断
   「t検定の結果、有意差が認められた(p < .05)」

② 効果量による補足
   「ただし効果量は d = 0.21 と小さく、統計的有意性が
    ただちに実質的な意味の大きさを示すわけではない」

③ サンプルサイズへの言及
   「本研究はサンプルサイズが大きいため、微小な差でも
    有意になりやすい点に留意が必要である」

④ 解釈の限界と今後
   「したがって本結果は、効果の存在を示唆するものの、
    臨床的意義については先行研究の効果量と照合しながら
    慎重に判断すべきである」

①だけで終わる受験生が大半です。 ②を書けば差がつきます。③④まで書ければ、上位の答案になります。

「有意でなかった」場合も同じです。

「有意差は認められなかったが、効果量は d = 0.55 と中程度であり、
 検定力不足により第2種の誤りが生じている可能性がある。
 サンプルサイズを確保したうえでの追試が求められる」

「有意差なし=効果なし」ではない、と書けるかどうか。ここは頻出です。

7. チェックリスト

説明できるようになったら、チェックを入れてください。

  • サンプルサイズが大きいと有意になりやすい理由を説明できる

  • p値と効果量が、それぞれ何を表すかを区別して説明できる

  • Cohen's d の意味を、標準偏差を使って説明できる

  • d、r、η² の目安(小・中・大)を言える

  • 第1種の誤りと第2種の誤りの違いを説明できる

  • 検定力=1−β であり、慣例が .80 であることを言える

  • α・効果量・サンプルサイズ・検定力の関係を説明できる

  • 「有意差なし」が「効果なし」を意味しない理由を説明できる

  • 自分の研究計画で、必要人数の根拠を述べられる

7つ以上言えれば、統計の論述で崩れることはまずありません。

おわりに

効果量と検定力は、入試の統計問題のなかでも対策している人としていない人の差が最も出る領域です。

理由は単純で、学部の授業では「有意差の出し方」までしか扱わないことが多いからです。だからこそ、ここを押さえておくと、答案でも面接でも一歩抜けられます。

この記事は、心理統計・研究法の学習ロードマップの一部です。全体の流れはこちらから。

【保存版】心理統計・研究法 ロードマップ──全12ステップ

統計は、独学で最も手が止まりやすい領域です。
「分からない」で止まったとき、それが調べれば済むことなのか、根本から誤解しているのか——自分では判断できないのがいちばんの難所です。

当校では毎月、無料のオンラインセミナー「心理フェスタ」を開催しています。心理学がはじめての大学生・社会人の方に向けて、受験のしくみを最初から説明する会です。

心理フェスタの日程を見る→ https://kokoro-up.com/festa

▶ 個別無料相談(大学院受験スケジュールのご相談も承ります)  
https://kokoro-up.com/form/consultation



心理系大学院予備校 ココロアップアカデミー 公認心理師・臨床心理士を目指す方を応援する予備校です。

いいなと思ったら応援しよう!

心理系大学院予備校 ココロアップアカデミー よろしければ応援お願いします! いただいたチップは受験対策活動費に使わせていただきます!一生懸命に心理系大学院合格を目指す方をサポートしていきます。