统计 I · 统计量与抽样分布

概率论与数理统计的分工一句话：概率论从分布推样本（演绎），统计从样本推分布（归纳）。归纳要有依据，依据就是"统计量自身的分布"——抽样分布。本页立好这套语言，核心资产是三大分布（χ²/t/F）与正态总体抽样定理，它们是后面估计与检验全部公式的发动机。

1. 统计量与枢轴量：计算时能否代入未知数？

在本页的 i.i.d. 抽样模型中，\(X_1,\ldots,X_n\) 是观测前的随机变量，\((x_1,\ldots,x_n)\) 是观测后的数值。统计量是样本的函数，计算规则不能依赖未知参数。因此 \(\bar X\)、\(S^2\) 是统计量；若 \(\mu,\sigma\) 未知，\((\bar X-\mu)/(\sigma/\sqrt n)\) 含有未知参数，不能直接当作可计算统计量。

这种含参数、但分布不依赖该未知参数的组合称为枢轴量。它并非无用：把关于它的概率事件整理成参数的上下界，就得到置信区间。在检验 \(\mu=\mu_0\) 时，用已指定的 \(\mu_0\) 代入，则可得到可计算的检验统计量。具体操作见后续 区间估计。

为什么样本方差除以 n−1？先证明，再解释自由度

设 \(n\ge2\)，样本 i.i.d.、均值 \(\mu\)、有限方差 \(\sigma^2\)。展开平方，利用 \(\sum_i(X_i-\bar X)=0\)，有精确恒等式

两边取期望：左边为 \(n\sigma^2\)，最后一项为 \(n\operatorname{Var}(\bar X)=\sigma^2\)，故

“损失一个自由度”是这件事的几何解释：残差向量满足一条线性约束，只能在 \(n-1\) 维子空间中移动；它不能替代上述期望计算。无偏性要求抽样条件，相关数据中 \(\operatorname{Var}(\bar X)\) 不一定为 \(\sigma^2/n\)，这个补偿因子也不一定正确。

无偏还不等于每一次准确。若 \(E(\hat\theta-\theta)^2<\infty\)，写成 \((\hat\theta-E\hat\theta)+(E\hat\theta-\theta)\) 并展开平方，交叉项期望为零，得到 \(\operatorname{MSE}=\operatorname{Var}+\operatorname{Bias}^2\)。实验的有限 \(R\) 经验数值也满足对应恒等式，但不能由此推出理想总体的 MSE 有限。

2. 正态总体为什么会产生独立的均值与残差？

设 \(X_i\) i.i.d. \(N(\mu,\sigma^2)\)，\(\sigma^2>0\)，令 \(Z_i=(X_i-\mu)/\sigma\)。向量 \(Z\) 的密度为 \((2\pi)^{-n/2}e^{-\|z\|^2/2}\)：它只依赖长度，正交旋转不会改变分布。

取单位向量 \(u=(1,\ldots,1)/\sqrt n\)，并补成一组正交基。以这些基向量为行的矩阵记作 \(Q\)，则 \(QQ^\top=I\)。令 \(W=QZ\)。由于长度和体积都不变，\(W\) 的密度仍因子化为 \(n\) 个标准正态密度，所以各坐标独立。第一坐标是

其余 \(n-1\) 个坐标是去掉平均方向后的残差；由勾股定理

于是同时得到四条精确结论：

独立性来自正态旋转后的坐标独立，不只来自“两个向量正交”。一般总体也能做相同的代数分解，却不能保证旋转后密度因子化。用样本标准差替代总体标准差后，分母本身随机；它偶尔偏小会放大比值，这解释了 t 分布的厚尾。

3. χ²、t、F：从构造看条件与矩

卡方： 独立 \(Z_i\sim N(0,1)\) 时，\(U=\sum_{i=1}^{\nu}Z_i^2\sim\chi^2_\nu\)。对整数 \(\nu\)，自由度就是独立平方项的数目；密度的 Gamma 形式还能推广到任意实数 \(\nu>0\)。其均值为 \(\nu\)、方差为 \(2\nu\)。若两个卡方变量独立，相加后的自由度相加。

Student t： \(Z\sim N(0,1)\)、\(U\sim\chi^2_\nu\) 且两者独立，则

它关于零对称，\(\nu>1\) 时均值才存在且等于零；\(\nu>2\) 时方差为 \(\nu/(\nu-2)\)，\(1<\nu\le2\) 时方差无穷，\(0<\nu\le1\) 时不能用对称性宣布均值为零。随着 \(\nu\to\infty\)，\(U/\nu\xrightarrow P1\)，从而 \(T\xrightarrow dN(0,1)\)。需要多大自由度才可近似，取决于关心的分位数与容许误差，不能用一个固定阈值替代核对。NIST 的 t 分布说明 给出相应密度与矩。

F： 若 \(U\sim\chi^2_m,V\sim\chi^2_\nu\) 独立，则

它只取正值；\(\nu>2\) 时均值为 \(\nu/(\nu-2)\)，\(\nu>4\) 时方差才有限。由定义立即有 \(F^{-1}\sim F_{\nu,m}\)，以及 \(T_\nu^2\sim F_{1,\nu}\)。若定义左尾分位数 \(q_p(m,\nu)\) 满足 \(P(F\le q_p)=p\)，则

写清左尾或右尾约定，才能正确使用分位数表。密度和尾部性质见 NIST 的 F 分布说明。

两组相互独立、各自 i.i.d. 正态且样本量至少为2时，\((S_1^2/\sigma_1^2)/(S_2^2/\sigma_2^2)\sim F_{n_1-1,n_2-1}\)。若方差还相等，可合并估计共同方差，均值差的标准化比值才有相应的精确 t 律；方差不等时不能直接照搬。

4. 同一个实验里的四种总体，理论答案各不同

实验中 \(n\) 是一份样本的观测数，\(R\) 是从理想总体重新生成样本的次数，\(B\) 是给定一份观测后有放回重抽样的次数。固定总体和 \(n\) 时，改变 \(R\) 不改变当前那份观测；改变 \(B\) 不改变总体重复抽样序列；较短的重复序列是较长序列的前缀，方便比较经验波动。

正态 \(N(10,4)\)： 均值的理论方差为 \(4/n\)，\(S^2\) 的理论均值为4、方差为 \(32/(n-1)\)。实验的金线分别是精确正态密度与缩放卡方密度。

指数 \(\mathrm{Exp}(1)\)： \(\bar X\) 精确服从 shape 为 \(n\)、scale 为 \(1/n\) 的 Gamma 分布，所以金线保留有限样本偏斜。\(S^2\) 仍无偏，但不是缩放卡方。若总体四阶中心矩 \(\mu_4\) 有限，展开四次乘积可得

指数总体 \(\sigma^2=1,\mu_4=9\)，于是本页使用 \(8/n+2/[n(n-1)]\) 作为精确方差参照，没有擅自画正态总体的卡方曲线。

共同冲击： 每次生成一簇 \(X_i=Z+\varepsilon_i\)，其中 \(Z,\varepsilon_1,\ldots,\varepsilon_n\) 相互独立且均为 \(N(0,1)\)。边际方差为2，但样本内共享同一个 \(Z\)：

因此 \(S^2\sim\chi^2_{n-1}/(n-1)\)，均值为1；若目标仍是边际方差2，偏差就是 \(-1\)，MSE 为 \(1+2/(n-1)\)。这里虽然相关，均值依然精确正态；失败的是 i.i.d. 的方差缩放与一致性，不能把“有相关”误读成“必定不正态”。增加同一簇内的 \(n\) 无法平均掉 \(Z\)。

Pareto\((x_{\min}=1,\alpha=1.5)\)： 均值为3，方差无穷。独立抽样均值仍由强大数定律趋向3，经典有限方差 CLT 则不能使用；均值估计量的理论 MSE 无穷。每次有限模拟却仍会返回有限数，图上的经验方差和MSE可以看起来不大。软件的有限精度伪随机数还限制了实际能生成的极端值，不能把有限模拟反过来当作“理想尾部矩有限”的证据。

5. bootstrap：把当前经验分布当作另一个总体

观察到 \(x_1,\ldots,x_n\) 后，经验分布 \(\widehat F_n=n^{-1}\sum_i\delta_{x_i}\) 在每个观测位置放概率 \(1/n\)。普通 bootstrap 从这里独立、有放回地抽取 \(n\) 个数，再算统计量。星号 \(E^*,\operatorname{Var}^*\) 表示给定当前数据后的条件期望和方差。这个重抽样机制可参看 CMU 的 bootstrap 讲义。

令 \(m_2=n^{-1}\sum_i(x_i-\bar x)^2=(n-1)s^2/n\)。经验分布的均值为 \(\bar x\)、方差为 \(m_2\)，因此无需模拟即可精确得到

注意，这个“精确”只针对当前经验分布；它是否近似真实总体的抽样分布，是另一个需要条件的问题。对样本方差也可计算条件矩。令 \(m_4=n^{-1}\sum_i(x_i-\bar x)^4\)，则

实验对照这组精确条件矩与 \(B\) 次重抽样的估计；模拟标准误使用这 \(B\) 个统计量的样本标准差，方差分母为 \(B-1\)。蓝色总体重抽样图与紫色 bootstrap 图没有人为平移到同一中心：后者围绕当前观测，正是它条件于数据的表现。

共同冲击例子中，经验分布只能看到同一簇内的离散程度。\(n\) 增大时，普通 bootstrap 均值 SE 大约按 \(1/\sqrt n\) 降低，而真正跨簇重复抽样的 SE 趋于1。仅有一簇时，增加 \(B\)、或笼统地说“用 block bootstrap”，都无法凭空补出独立簇之间的信息；需要与数据生成结构匹配的额外数据或模型。

6. 精确有限样本结论与大样本替代

非正态的 i.i.d. 总体，只要 \(0<\sigma^2<\infty\)，\(S^2\xrightarrow P\sigma^2\)（对 \(X_i\) 与 \(X_i^2\) 用大数定律），再结合 CLT 与 Slutsky 定理，有

这是 Student 化后的渐近正态，不是有限样本精确 \(t_{n-1}\)。它也不会自动给出精确卡方/F律，或恢复一般总体下均值与样本方差的独立性。样本方差的一致性只需有限二阶矩；上节样本方差的有限方差公式需要有限四阶矩，条件强度也不同。

例如正态总体 \(N(21,4)\)、\(n=25\) 时，\(P(\bar X>21.8)=1-\Phi(2)\approx0.0227501\)。这是精确抽样定理加数值求尾；换成仅有相同均值方差的一般总体，就不能称有限样本精确结果。

7. 迁移练习与答案

题 1：把方差事件换成标准分布事件

正态总体方差为4，独立样本量10。求 \(P(S^2>8.04)\)，并写清自由度、阈值与尾部方向。

题 2：分子分母共享信息会怎样？

\(Z_1,\ldots,Z_5\) 独立标准正态。比较 \(A=Z_1/\sqrt{(Z_2^2+\cdots+Z_5^2)/4}\) 与 \(B=Z_1/\sqrt{(Z_1^2+\cdots+Z_5^2)/5}\)。

题 3：重抽样的极限是否等于真正的不确定性？

共同冲击模型中 \(n=100\)，某次样本恰有 \(s^2=1\)。比较真实均值 SE、普通 bootstrap 均值的精确条件 SE，以及 \(S^2\) 对边际方差的理论偏差。

下一页：点估计。现在能区分一个估计数值与估计方法在重复抽样中的性质，再讨论怎样选择更好的估计量。