【数学】显著性检验

目录

动机

理解

简介

目的

为什么要进行显著性检验 

怎么做显著性检验

白话举例

参考

动机

看到论文中使用显著性分析，于是先了解下什么是显著性检验，于是是通过T检验手段，具体可以看本人另一篇博客 【数学】T检验（显著性检验）

理解 简介

理论知识：显著性检验（significance test）就是事先对总体分布做一个假设，然后用样本来判断这个假设。即判断样本与我们对总体所做的假设之间的差异。

显著性检验即用于实验处理组与对照组或两种不同处理的效应之间是否有差异，以及这种差异是否显著的方法。

常把一个要检验的假设记作H0,称为原假设（或零假设） (null hypothesis) ，与H0对立的假设记作H1，称为备择假设(alternative hypothesis) 。

⑴ 在原假设为真时，决定放弃原假设（而检验的结论却劝你放弃原假设），称为第一类错误，其出现的概率通常记作α；

⑵ 在原假设不真时，决定不放弃原假设（而检验的结论却劝你不放弃原假设），称为第二类错误，其出现的概率通常记作β

(3)α+β 不一定等于1 [1]  。

通常的检验中我们只要求尽可能不犯第一类错误，这样的检验就称为显著性检验。 设你能接受的犯第一类错误的最大概率为α，我们称α为显著性水平。

具体来说，假设你进行了显著性水平α=0.05的显著性检验，并且结果是你放弃原假设，接受备择假设。那么这种情况下，你的判断是错误的概率最大不超过5%，即显著性检验保证了你的判断的准确性。

通常只限定犯第一类错误的最大概率α， 不考虑犯第二类错误的概率β。这样的假设 检验又称为显著性检验，概率α称为显著性水平。

最常用的α值为0.01、0.05等，代表着显著性检验的结论错误率必须低于5%或1%。一般情况下，根据研究的问题，如果放弃真假设损失大，为减少这类错误，α取值小些 ，反之，α取值大些。

目的

 是为了消除第一类错误和第二类错误。

通常情况下，α水平就是第一类错误。第一类错误是原假设为真却被错误拒绝的概率。

第二类错误(β)是原假设为误却被错误接受的概率或是备择假设为真却被拒绝的概率。

如果P值小于某个事先确定的水平，理论上则拒绝原假设，反之，如果P值大于某个事先确定的水平，理论上则不拒绝原假设。常用的显著性水平是0.05，0.01和0.001 [1]  。

不同的水平各有优缺点。水平越小，判定显著性的证据就越充分，但是不拒绝错误原假设的风险，犯第二类错误的可能性就越大，统计效力(就越低。选择水平不可避免地要在第一类错误和第二类错误之间做出权衡。如果犯第一类错误造成的后果不严重，比如在试探性研究中，我们可以将α水平定得高一些，如0.05或0.1。如果研究样本很小，为了提高统计效力，我们在某些研究中也不妨提高α水平。但是，如果犯第一类错误造成的后果很严重，比如我们要基于某项研究发现决定是否在全国推行某项教学改革，我们则需要将α水平定得低一些，如0.01或0.001。

为什么要进行显著性检验 

【因为我们想要判断样本与我们对总体所做的假设之间的差异是纯属机会变异，还是由我们所做的假设与总体真实情况之间不一致所引起的。 在我们的例子中，差异就是样本1H的均值要高于样本2Z的均值，但是最终的结论p>0.05证明，这个差异纯属机会变异（H均值>Z均值是偶然的，当H和Z的采样点数趋于无穷多时，H的均值会趋近等于Z的均值）而不是假设与真实情况不一致。如果p值杭州分公司销售额，抑或反之）以便对接下来公司的战略业务调整做出规划。下属们知道王老板的难处，纷纷建议“只需要求平均值就知道哪个分公司的销售额更大了”。但是作为拥有高学历的王先森知道“我们生活在概率的世界之中”。那也就意味着，平均值并不能够说明什么问题，即便杭州分公司的销售额平均值大于北京分公司的销售额平均值仍然不能说明杭州分公司的销售额一定就大于北京分公司的销售额，因为“这样一种看似存在的大于关系实质上是偶然造成的而并不是一种必然”。

怎么做显著性检验

【显著性检验可以分为参数检验和非参数检验。参数检验要求样本来源于正态总体（服从正态分布），且这些正态总体拥有相同的方差，在这样的基本假定（正态性假定和方差齐性假定）下检验各总体均值是否相等，属于参数检验。当数据不满足正态性和方差齐性假定时，参数检验可能会给出错误的答案，此时应采用基于秩的非参数检验】

为了解释，下面使用参数检验中常见的方差分析

王先森根据零假设的定义，作出“两个分公司的销售额没有显著差异”的假设，最后王先森计算得出，方差检验的p 值= 0.459，那也就意味着，虽然杭州分公司的年平均销售额26.75大于北京分公司的销售额25.75，但是实质上，两个分公司的销售额并没有明显的差异。

销售额统计 分公司 个案数 平均值 标准差 标准误差平均值 1 12 25.75 3.16 6 .914 2 12 26.75 2.49 1 .719

（相信此时的你心中有万千草泥马奔过：p值是什么东西？为什么p=0.459意味着销售额没有明显差异？方差检验是怎么做到的？不要急，不要慌,我们一手一个慢动作）

• “无假设，不检验”，王先森做了什么样的假设（Hypothesis）？

由于王先森想要知道两个公司的销售额是否有存在明显的差异 ，所以他的无效假设就是“样本集B（北京分公司）和样本集H（杭州分公司）不存在显著性差异，换言之这两个集合没有任何区别（销售额间没有区别）！”。那么问题来了，为什么王先森要假设这两个样本集之间不存在任何区别，而不是假设这两个样本集存在区别。因为这个假设（Hypothesis）正是方差检验的原假设（null hypothesis）。问题又来了，什么是原假设。所谓原假设是数学界为了方便讨论而默认的“原始的假设”。没有什么reason可言，这是约定好的。

无效假设：是对研究总体提出一个假想目标，所谓“ 无效”是指处理效应与 假设值之间 没有真实差异，试验结果所得的差异乃误差所致。国内多译作零假设

• p值是什么东西？

具体求解该过程需要利用到方差分析的方法。

方差分析(Analysis of Variance,简称ANOVA),又称“变异数分析”,是R.A.Fisher发明的,用于两个及两个以上样本均数差别的显著性检验。

其中方差分析的结果中将给出p值，p值是衡量控制组与实验组差异大小的指标。

在显著性水平α =0.05的情况下，p>0.05接受原假设，p值＜0.05拒绝原假设。我们的原假设是样本集B和样本集H间不存在显著性差异，但是由于p=0.459＞0.05，所以接受原假设，即样本集B和样本集H间不存在显著性差异。如果这里的p值小于0.05，那么就要拒绝原假设，即集合B和集合H间存在显著性差异。

对于p的另一种角度：这个情境下的p=0.459，意思就是说偶然因素导致数据发生这种差异的概率是0.459，跟0.05一比大好多。那么就是说偶然因素很有可能导致了这种差异，所以数据本身之间是不存在差异的。【引申到比如p=0.020.05,王先森的两家分公司销售额大致相同,不存在显著性差异。

"小异":显著性水平值p