Nature：统计学中的P值不代表错误几率

2月12日，Nature发表了一篇统计学论文（Nature. 2014, 506, 150-152. doi:10.1038/506150a）及一篇编辑点评（Nature. 2014, 506, 131-132. doi:10.1038/506131b），称统计效度金标准P值没有大多数科学家认为的那么可靠。

论文中引用了两个案例，第一个案例是弗吉尼亚大学的心理学博士研究生Matt Motyl（Perspect. Psychol. Sci. 2012, 7, 615-631.），他进行了一项近2000人的调查，发现政治中庸派比左翼、右翼能够更加精确地看到shades of grey，而极端分子总是看到the world in black and white。当时Matt Motyl非常开心，因为得到的P值为0.01，可以解读为统计学差异极显著，仿佛看到了权威期刊在招手。由于学界对科研的可重现性比较敏感，Matt Motyl决定再重复一次，于是少年成名梦就这样破灭了，P值变成了0.59，连显著差异的0.05都没有达到。

另一个案例是芝加哥大学的John T. Cacioppo（Proc. Natl Acad. Sci. USA. 2013, 110, 10135-10140.），他研究了通过网络认识与非网络认识夫妇离婚率与婚姻满意度的差别，样本量超过了19000人，发现通过网络认识的夫妇对婚姻满意度高（P<0.001）、离婚率低（P<0.002）。这就是典型的p值转移注意力，而忽略最重要的实际效应大小，实际离婚率（7.67% vs 5.96%）、婚姻满意度（5.48 vs 5.64）差别并不大。P值能够回答“Is there an effect?”，却不能回答“How much of an effect is there?”，研究人员应该关注效应大小和置信区间，避免P值陷阱。

论文中做了一个简洁明了的P值校正图，原始数据出自2001年的一篇统计学论文（AM. STAT. 2001, 55, 62-71.），原文献中举了一个非常有意思的例子：

登录/注册后可看大图

$ v1 _$ t* Q: I- X. ~( N9 t
楼主，贴中有2个图片不能正常显示呢？
! p4 Z0 d7 P( J7 ]4 S

登录/注册后可看大图

不会吧？我这边显示是完整的，没有问题

北京-丹丹 发表于 2014-2-15 20:44
% O# o! G' V$ q) q不会吧？我这边显示是完整的，没有问题

  p5 F2 b2 r$ ?  [真的看不到，请看我的贴截图

以附图形式重新上传了，再看下！

非常有用的资料，谢谢楼主的分享