SPSS视频教程内容目录和跳转链接

T检验和方差分析是等价的-证明过程来了

微博@mlln-cn, 并附上文章url链接, 我就能回答你的问题奥!

我经常纠正童鞋们的错误观念–两样本情况下必须用T检验不能用方差分析,
这是错误的, 因为两样本情况下T检验和F检验实际上等价的, 也就是结果一样!
我已经用实际的数据做过比较, 请看这个视频

我一直说我们可以用公式推导的方式证明T检验和F检验是等价的(两分类情况下),
但是我百度了一下发现找不到这个推导的帖子, 于是我就自己写一下。

F和T的计算公式

F的计算公式:

$ F_{a-1, N-a} = \frac{MST}{MSE} = \frac{\frac{SST}{a-1}}{\frac{SSE}{N-a}} \tag{1} $

$t^2$的计算公式:(注意是t的平方,不是t)

$ t_{k}^2 = \frac{(\bar{y}_{1.} - \bar{y}_{2.})^2}{S_{p}^2(\frac{1}{n_{1}} + \frac{1}{n_{2}})} \tag{2} $

公式中用到的符号的意义是:

  • SSE: Sum of Squares due to Error
  • SST: Sum of Squares of Treatment
  • a: 处理水平数或者分类数
  • $n_1$: 第一组的样本量
  • $n_2$: 第二组的样本量
  • N: 总样本量
  • $\bar{y}_i$: 第i组的平均值
  • $\bar{y}$: 两组总的的平均值
  • k = N - a: 自由度

我们的证明思路很清晰, 就是证明$F=t^2$, 证明了这个等式, 就意味着我们不管用哪个方法, 最终得到的统计量具有等价性,
但是有童鞋肯定要怀疑, F和t的平方相等, 但是他们显著性相同吗? 可以负责人的告诉你, 显著性也相同。

化简分母MSE

当a=2的时候:

$ MSE = \frac{SSE}{N-2} = \frac{\sum_{j=1}^{n_1}{(y_{1j} - \bar{y}_{1.})^2} + \sum_{j=1}^{n_2}{(y_{2j} - \bar{y}_{2.})^2}}{N-2} \tag{3} $

我们回想一下计算标准差的公式:

$ S_{i}^2 = \frac{\sum_{j=1}^{n_i}(y_{ij} - \bar{y}_{i.})^2}{n_{i} - 1} $

我们可以想到有这样的等式:

$ (n_{1} - 1) S_{1}^2 = \sum_{j=1}^{n_1}{(y_{1j} - \bar{y}_{1.})^2} $

将(3)式用S代替, 就可以得到下面的结果:

$ \frac{SSE}{N-2} = \frac{(n_{1} - 1) S_{1}^2 + (n_{2} - 1) S_{2}^2}{n_{1} + n_{2} - 2} = S_{p}^2 \tag{4} $

熟悉T检验的都知道$S_{p}^2$就是联合方差。

化简分子MST

当a=2的时候, 分子是这样的:

$ \frac{SST}{2-1} = SST = \sum_{1}^2 n_{i} (\bar{y}_{i.} - \bar{y}_{..})^2 $

我们写成这样:

$ \begin{eqnarray} SST & = & \sum_{1}^2 n_{i} (\bar{y}_{i.} - \bar{y}_{..})^2 \\ & = & n_{1} (\bar{y}_{1.} - \bar{y}_{..})^2 + n_{2} (\bar{y}_{2.} - \bar{y}_{..})^2 \\ \end{eqnarray} \tag{5} $

$\bar{y}_{..}$是全体样本的平均值, 那么, 我们换一种形式:

$ \bar{y}_{..} = \frac{n_{1} \bar{y}_{1.} + n_{2} \bar{y}_{2.}}{N} \tag{6} $

我们把(6)式代入(5)式:

$ SST = \underbrace{n_1 \big[ \bar{y}_{1.} - (\frac{n_1 \bar{y}_{1.} + n_2 \bar{y}_{2.}}{N}) \big]^2}_{\text{Part a}} + \underbrace{n_2 \big[ \bar{y}_{2.} - (\frac{n_1 \bar{y}_{1.} + n_2 \bar{y}_{2.}}{N}) \big]^2}_{\text{Part b}} \tag{7} $

化简Part a

Part a 是这样的:

$ \text{Part a} = n_1 \big[ \bar{y}_{1.} - (\frac{n_1 \bar{y}_{1.} + n_2 \bar{y}_{2.}}{N}) \big]^2 $

将中括号中的式子化简:

$ n_1 \big[\frac{N \bar{y}_{1.} - n_1 \bar{y}_{1.} - n_2 \bar{y}_{2.}}{N} \big]^2 $

提取公因子y1:

$ n_1 \big[\frac{(N - n_1) \bar{y}_{1.} - n_2 \bar{y}_{2.}}{N} \big]^2 $

我们知道样本量的计算: $(N - n_{1}) = n_{2}$

所以可以接着化简:

$ n_1 \big[\frac{n_2 \bar{y}_{1.} - n_2 \bar{y}_{2.}}{N} \big]^2 $

接下来就一目了然了:

$ \text{Part a} = \frac{n_{1} n_{2}^2}{N^2} (\bar{y}_{1.} - \bar{y}_{2.})^2 $

化简Part b

同样的方式可以可到part b的化简:

$ \text{Part b} = \frac{n_{2} n_{1}^2}{N^2} (\bar{y}_{2.} - \bar{y}_{1.})^2 $

代入part a 和part b

我们将(7)式中的part a 和 part b 用化简后的式子代替:

$ SST = \frac{n_{1} n_{2}^2}{N^2} (\bar{y}_{1.} - \bar{y}_{2.})^2 + \frac{n_{2} n_{1}^2}{N^2} (\bar{y}_{2.} - \bar{y}_{1.})^2 \tag{8} $

接着提取公因子:

$ SST = \underbrace{\big[ \frac{n_{1} n_{2}^2}{N^2} + \frac{n_{2} n_{1}^2}{N^2} \big]}_{\text{Part c}} (\bar{y}_{1.} - \bar{y}_{2.})^2 \tag{9} $

化简 part c

$ \begin{eqnarray} \text{Part c} & = & \frac{n_{1} n_{2}^2}{N^2} + \frac{n_{2} n_{1}^2}{N^2} \tag{a}\\ & = & {\frac{n_{1} n_{2} (n_{1} + n_{2})}{N^2}} \tag{b}\\ & = & {\frac{n_{1} n_{2} N}{N^2}} \tag{c}\\ & = & \frac{n_{1} n_{2}}{N} \tag{d}\\ & = & \frac{1}{\frac{N}{n_{1} n_{2}}} \tag{e}\\ & = & \frac{1}{\frac{n_{1} + n_{2}}{n_{1} n_{2}}} \tag{f}\\ & = & \frac{1}{\frac{1}{n_{1}} + \frac{1}{n_{2}}} \tag{g} \end{eqnarray} $

最后代入(9)式:

$ SST = \frac{1}{\frac{1}{n_{1}} + \frac{1}{n_{2}}} (\bar{y}_{1.} - \bar{y}_{2.})^2 $

化简F的计算公式

前面已经计算得到了SSE和SST的化简公式, 分别是(4)式和(10)式, 代入F的计算公式(1):

$ F_{1, k} = \frac{\frac{SST}{2-1}}{\frac{SSE}{N-2}} = \frac{(\bar{y}_{1.} - \bar{y}_{2.})^2}{S_{p}^2 \big( \frac{1}{n_{1}} + \frac{1}{n_{2}} \big)} = t_{k}^2 $

然而由于$F_{1, k}$的概率密度函数和$t_{k}^2$的概率密度函数是一样的, 因此所得到的P值也是相同的。具体证明可以看下图:

赞助

持续创造有价值的内容, 我需要你的帮助