数据分析之假设检验

一、假设检验原理

假设检验（hypothesis testing），又称统计假设检验，也叫显著性检验，是用来判断样本与样本、样本与总体的差异是由抽样误差引起还是本质差异造成的统计推断方法。

显著性检验是假设检验中最常见的一种方法，也是一种最基本的统计推断形式。

其基本原理是：先对总体的特征做出某种假设，然后通过抽样研究的统计推理，对此假设应该被拒绝还是接受做出推断。

对总体特征做某种假设，然后通过样本研究统计推理，最终对此假设做出接受或者拒绝的判断，常见的假设检验有：Z检验、t检验、F检验、卡方检验。

最常用的假设检验方法有U检验、T检验：

• U检验：当样本量较大时（一般指样本量大于30），使用U检验
• T检验：当样本量较小时（一般指样本量小于30），使用T检验
  假设检验在AB实验中最为常见。
  而互联网使用最多的是U检验，因为样本量大于30这个条件非常容易满足。

二、假设检验步骤

1. 提出假设：在假设检验中通常会提出两个命题，分别为H0和H1命题。H0是我们希望被推翻的命题，H1是我们希望被证实的命题。
2. 确定适当的统计量：当样本数量大于30用Z检验；当样本数量小于30 ，近似服从正太分布且总体方差已知用Z检验；同样当样本量小于30，近似服从正太分布且总体方差未知用T检验；但如果样本量小于30，不服从近似正态分布，则不能用Z检验或者T检验
3. 显著性水平：它是指H0命题为真，拒绝H0的概率。其实它代表小概率事件发生的概率。通常显著性水平用α表示，α可以取0.05或者0.01,它表示接受原假设正确性概率为95%或99%。
4. 计算检验统计量：带公式计算出P值，P值是指在H0为真时，当前观测样本发生更加极端的概率。通俗的说如果p值很小，说明是小概率事件，在H0假设为真时尽然出现了小概率事件，要拒绝H0，反之则接受

        当然这里我们可能经常犯统计学中两种错误：
        第一类错误(弃真)：当H0为真时，我们拒绝了H0，发生的概率为α
        第二类错误(取伪)：当H0为假时，我们却接受了H0，发生的概率为β
1
2
3

三、样本量的确定

理论上样本量越大越好，实际工作样本量越少越好。

这是因为样本量很少的情况下，实验结果可能被异常样本带偏，最终可能得到不准确的结果。但是使用样本量太大，相应的试错成本也会增大。

这里给大家推荐计算计算样本量的网站：Sample Size Calculator

其实样本量和红框中这四个影响因子有关，这里做简要的说明：

• Conversion Rate：可以把它理解为旧方案的的点击率，很容易理解，当旧方案中点击率越少，我们则需要更多的样本。
• Minimum Detectable Effect：可以把它可以解释为“预想提升的转化率”，如果实验完毕后转化率提升的值高于或等于这个值，认为优化有用，反之优化程度可以忽略不计。

• 参数越大（比如10%），说明我们期望实验能够检测出10%的差别即可。检测这么大的差别当然比较容易（power变大），所以保持power不变的情况下，所需要的样本量会变小。
• 参数越小（比如1%），说明我们希望实验可以有能力检测出1%的细微差别。检测细微的差别当然更加困难（power变小），所以如果要保持power不变的话，需要的样本量会增加。

• Statistical Significance：这参数为可以通过1-α得到

• Statistical Power：这个参数可以通过1-β得到

对于某一具体的检验来说，当样本量n一定时，α越小，β越大。实际应用中通过增加样本量来减少β

参考链接：
AB测试总结
数据分析方法