T検定のP値とは何を意味しているのか？｜統計学・有意差

 

みなさんこんにちは。

 

大学で論文を読まされた人なら避けることはできなかったT検定のP値と言うのを覚えているでしょうか。

 

統計の中でも基礎中の基礎であり、外すことのできないT検定とP値な訳ですが、

 

もちろん、P検定がどう言うことを意味しているのかは理解していても、

具体的に、P値とはなんですか？と聞かれると難しいことはないでしょうか。

 

また、片側検定とは？両側検定とは？

などなど、深く突っ込めば意外と説明しにくいのが統計というものです。

 

というわけで今回は、

T検定とP値とはなんなのか。という話をしていきます。

 

 

 

 

P値とはズバリなんなのか。

 

最初にズバリ答えを言ってしまうと、

P値とは、

「2つの間に本当に違いがあるのか」ということを調べる値です。

 

言い換えるなら、

論文の内容が、「実はたまたまだっただけで、違いなかった。てへ。」

となる確率を示したものがP値です。

 

 

一旦オフィシャルに説明

 

それでは、もう少し噛み砕いて説明していきたいと思いますが、

まずは、堅苦しくオフィシャルな説明からしていこうと思います。

 

T検定とはどういう検定かというと、

「帰無仮説が否定される可能性を検証する検定」

です。

 

帰無仮説とは「2つの間に違いはない」とする仮説で、

T検定をする際には、仮に差があることが研究者の仮説であっても、一旦は帰無仮説を立てます。

 

そして、T検定を当てはめて出てきたP値が「帰無仮説は嘘だ！」と棄却してくれれば、

「2つの間に差がない。ということは嘘である」＝「2つの間には差がある」

ということを証明できることになります。

 

これを以って、研究者は「有意差はあります！」という風に声を大にして言うことができます。

英語では「significant difference」と書かれているのはそいういう意味です。

 

実際問題、論文の中で「このT検定はAとBの間に差がないと仮定して行う。」的な説明はないので、暗に帰無仮説が立てられていることになります。

 

 

噛み砕いた説明

続いて、噛み砕いたのを寸劇チックに説明していきます。

 

ヤンキーの勢力争いをT検定で解決しよう。

 

噛み砕いて説明するために、ヤンキーAとBに登場してもらいます。

 

ヤンキーAとBは共に「地元じゃ負け知らず、そうだろ？」と言っています。

若手社会人の世代ならピンときそうなセリフです。

 

しかし、「負け知らずの規模が違う。」と言うヤンキーAに対して、

ヤンキーBは「負け知らずに差はない。」と言う風な感じです。

 

ですが、この2人は都会と田舎ということで、喧嘩するにも近頃は石油が高騰しているのでガソリン代が高い。

だから、極力喧嘩せずして、

• 本当に2人の間に差がないのか
• やっぱり都会ヤンキーのほうが強いのか。

 

ということをハッキリさせたいということになりましたとさ。

 

 

ヤンキー・T検定の戦い

 

そこで、ヤンキーAとBは、ヤンキーらしからぬ非常にスリムな方法を考えます。

 

ヤンキーA

「隣町にヤンキーCがいる。そこならお互い電車で行けるし、ガソリン代もかからねえ。そいつとお互い5回つづ喧嘩して、どっちがヤンキーCを圧勝できるかで競おうじゃねーか。」

 

 

ヤンキーB

「なるほどな。じゃあ、それをT検定に当てはめて決めてやろーじゃねーか。」

 

と言う風な運びになりました。

 

謎に10回も喧嘩しないといけないヤンキーCは不憫ですが、A,Bの母親のへそくりからガソリン代が抜かれることに比べたらマシだとしましょう。

 

 

ヤンキーの実力差をT検定で比べてみた。

 

この状況において、ヤンキーBの「負け知らず同士、差はない。」というのが帰無仮説になります。

このヤンキーBの言い分が嘘なのかどうかをT検定、つまりはP値で検討しようとういことになります。

 

右上のようなヤンキーCとの戦績に、T検定を使った時に、

P値が「ヤンキーBの帰無仮説は嘘だよ！差はあるよ！」と言う場合は、ヤンキーAの方がやはり強いと言うことになります。

P値が「その帰無仮説が嘘かって？ん〜わからな〜い。」と言う場合は、AとBの実力差はなんとも言えないと言うことになります。

 

つまり、P値が「差があるよ！」と言ってくれ場合には、実力差があることを証明できる。

これがT検定です。

 

ちなみに、本当は結果が数値で出てこないとT検定はできません。そこがヤンキーAとBの甘いところでした。
またここでは、Aの方が強い可能性を調べる片側検定で考えています。

 

 

なぜT検定をする必要なのか。

 

ここで疑問に思った人がいるかもしれません。

「なぜ、Cとの戦歴を何勝何敗とかで比べたらダメなのか。」

「そっちの方がシンプルでいいじゃないか。」

と。

 

たしかに、そうしたらシンプルなのですが、

喧嘩や研究には、結果のばらつきがつきものです。

 

つまり、5回喧嘩した勝ち数と負け数を比べただけでは、今回はたまたま、ヤンキーAがうまく勝てただけで「もう5回やったら違う結果になっているかもしれない。」

と言うことを否定できないのです。

 

そこで、T検定を使うことで、

「この結果がたまたまである可能性はどれぐらいなのか。」

「もう5回やった時にヤンキーBが優勢になる可能性はどれぐらいなのか。」

ということを知ることができるのです。

 

 

P値の判断

 

P値の判断については、よくご存知かもしれませんが一応さらっておきます。

 

P値は、多くの場合「0.05」を基準に判断されます。

分野によっては「0.01」を基準にすることもありますが、スポーツサイエンス界隈の研究はほとんど0.05を基準にしているので、これを基準に話をしていきます。

 

P値≦0.05の場合、そのP値は「帰無仮説は嘘だよ！差があるよ！」ということを示しています。

一方で、P>0.05の場合は、そのP値は「帰無仮説が嘘か？わからな〜い。」ということを示しています。

 

ここで、ヤンキーAとBが何を間違えたのか、10教科の点数を比較することにしました。

平均点をみると、ヤンキーBの平均点は10点も低いので「ヤンキーAの方が賢い」と言うことが言えそうですが、

実は、この結果をT検定にかけると「P=0.129」になります。

 

つまり、今回はヤンキーAがたまたま点数が良かった。と言わなくてはいけません。

 

しかし、だからと言ってヤンキーAとBの頭の良さは変わらない。と言う風には言えないと言うことは頭に入れておいてください。
0.05の場合は「どうなのかはわからない」としか言えないと言うことが非常に重要です。

 

 

P=0.05とは何を意味しているのか。

 

ここで、

「P=0.05って何を意味しているの？なんで0.05なの？」

と言う疑問を持った人がいると思います。

 

P値とは「帰無仮説が正しい確率」です。

 

つまりP=0.05の場合「帰無仮説が正しい確率は5%」ということになり、

それはほとんど無いと言っていいんじゃない？

つまり、帰無仮説は嘘だと言っていいんじゃない？

ということになります。

 

これによって、研究者はP≦0.05の結果が出ると、

「有意な差があります！」

という風に言うことができます。

 

 

0.05は研究者間のただの暗黙の了解？

 

「帰無仮説が正しい確率は5%」ということは、確かに帰無仮説は間違っていそうですが、

まだ、5%の確率でたまたまそういう結果になった。という可能性は残っています。

そう、残っているのです。

 

例えば、ヤンキーAとBの間に有意な実力差があったとT検定の結果わかったとしても、

5％の確率で、実力は同等またはヤンキーBの方が強い可能性が残っています。

それは否定できないのです。

 

0.05（または0.01）は研究者の中での暗黙の了解であって、

有意差があるからと言って「絶対」とは言い切れないと言うのに注意が必要です。

 

ですが、研究者の暗黙の了解は固く、P<0.05なら差があったぞ！！と研究者はかなり強く書きます。それが研究というものです。

 

 

逆に差がない。ということは証明できない

 

これは、この記事の中で一番注意してほしいことなのですが、

 

T検定または多くの統計的手法において、

「差がなかった。」ということを証明する方法はありません。

 

もしかしたら数学界にはそう言った証明方法があるのかもしれませんが、

少なくとも研究の中でスタンダードに用いられているものはありません。

 

よく一般の記事なんかで「〇〇は効果がなかった。」と言う風に書いていますが、

システマティックレビューなどで、多くの論文で有意な差が見られなかったら、

「統計的に、効果がない可能性が非常に高い。」ということは言えても、

「絶対的に〇〇は効果がない。」ということをいうことは不可能です。

 

P値は、測定の精度が低くてばらつきが大きかったり、サンプル数が少なかったりすると必然的に大きくなります。

そのため、本当は効果があっても「研究の方法上、有意な差がでなかっただけ。」なんてことは日常茶飯事です。

 

「〇〇は効果がなかった！」という記事（自分も書きがちなので注意します。。。。）は、疑いの目を持って「なぜ出なかったのか。」ということを考えながら読むことが重要です。

 

 

まとめ

 

今回は、P値とは何かということをできるだけにポップにお話ししていきました。

 

いつもは、専門家に向けて記事を書いていること、また誤解がないようにするために、堅い言葉で記事を書いているつもりなんですが、こんな感じのポップな記事は書きやすくていいですね。

そんな話はどうでもいいですね。はい。

 

科学的な研究結果は近年身近に触れられるようになりましたが、

逆に「科学的」という太鼓判が乱用されているような気もします。

 

自分も科学的なエビデンスに基づく知識は重要だと思いますし、科学的な話しか信頼しないような側の人間ですが、

「科学的知見はあくまでも科学の中の話。用法用量を守って正しく使うことが大事。」

ということを推していきたいです。

 

以上です！