渐近统计 III · 三大检验与 Wilks 定理

对标：van der Vaart AS §15–16 ｜ 前置：as-01/02、本科统计 IV 本科已经接触精确二项、正态总体与大样本检验；本页把渐近推断组织为正则参数模型中的统一框架：似然比、Wald、得分（Rao）三大检验渐近等价、极限都是 χ²——这是统计软件中许多 χ² 近似的理论依据。收官附 Neyman–Pearson 引理（最优性的地基）与局部功效视角。

先修回链：收敛工具、MLE 相合性与渐近正态。

1. Neyman–Pearson 引理（检验最优性的原点）

定理（N–P） 简单假设 \(H_0:f_0\) vs \(H_1:f_1\)：给定水平 \(\alpha\) 下功效最大的检验是似然比检验。一般写成拒绝函数

其中 \(k,\gamma\) 选到 \(E_0\varphi^*=\alpha\)（若能做到）。似然比在 \(f_0=0<f_1\) 处按 \(+\infty\) 处理并拒绝；两密度都为零的点对功效与水平没有影响。连续模型常有等号集零概率，可取 \(\gamma=0\)；离散模型里若非随机阈值跨过 \(\alpha\)，在等号层随机化才可能精确达到指定水平。 【证明】 设 \(\varphi^*\) 为 LR 检验、\(\varphi\) 任意水平 \(\leq\alpha\) 检验（取值 \([0,1]\) 的拒绝概率函数）。逐点非负性：\((\varphi^*(x) - \varphi(x))(f_1(x) - kf_0(x)) \geq 0\)（LR \(> k\) 处 \(\varphi^* = 1 \geq \varphi\)；\(< k\) 处 \(\varphi^* = 0 \leq \varphi\)）。积分展开：\(\int(\varphi^* - \varphi)f_1 \geq k\int(\varphi^* - \varphi)f_0 \geq 0\)（后者由水平条件）。即功效 \(\varphi^* \geq \varphi\)。\(\blacksquare\) 读法：证据的正确排序方式是似然比——三行证明立起整个检验理论的北极星；本科统计 IV 各检验的"合理性"都溯源于此（复合假设下推广为单调似然比/UMP 理论【引用】）。

2. 三大检验

先检验一个 \(d\) 维参数的完整点原假设 \(H_0:\theta=\theta_0\)。下表的 \(\ell\) 是总对数似然，\(I\) 是单观测信息阵，三种统计量衡量数据离这个点多远；此时自由度是 \(d\)。一般约束不能直接照抄此表，见表后的投影公式。

这里 \(\bar\psi_n(\theta)=n^{-1}\sum_{i=1}^n\partial_\theta\log f(X_i;\theta)\) 是平均得分，\(I\) 是单个观测的信息阵；若改用总得分 \(U_n=n\bar\psi_n\)，同一统计量写成 \(n^{-1}U_n^\top I^{-1}U_n\)。两种记号不能把 \(n\) 的位置混用。

若原假设是 \(r(\theta)=0\)，设 \(R=Dr(\theta_0)\) 满行秩 \(q\)，则自由度是独立约束的秩。LR 改成 \(2[\ell(\hat\theta)-\ell(\tilde\theta)]\)，其中 \(\tilde\theta\) 是约束 MLE；Wald 改成

Score 也要在约束 MLE 处使用有效得分及对应信息，消去 nuisance 参数方向，不能继续把某个任意 \(\theta_0\) 填入点假设公式。约束可微且局部满秩、信息非奇异、两种 MLE 相合及局部二次展开，是这里引用约束版本的前提。

定理（Wilks + 三剑客等价） 正则条件下，\(H_0\) 真时三者都 \(\xrightarrow{d} \chi^2(q)\)，且两两之差 \(= o_P(1)\)。 【骨架】（一维核心计算）：对 \(\ell\) 在 \(\hat\theta\) 处二阶 Taylor（一阶项为零——MLE 是驻点）：

代入 as-02 主定理 \(\sqrt{nI}(\hat\theta - \theta_0) \xrightarrow{d} N(0,1)\) ⇒ 右端 \(\xrightarrow{d} \chi^2(1)\)——LR 与 Wald 在此展开中显式相等到 \(o_P(1)\)；Score 用 \(\psi(\theta_0) \approx -\psi'(\cdot)(\hat\theta - \theta_0)\) 换算归队。多维/约束版沿约束流形分块投影，自由度 = 被约束的维数。\(\blacksquare\)

Wilks 的魔法与边界：在可识别、内点、信息非奇异等正则条件成立且 nuisance 参数处理满足相应理论时，极限 \(\chi^2(q)\) 的形状不依赖许多模型细节——logistic 回归删三个变量与正则生存模型删三个变量都可查 \(\chi^2(3)\)。自由度是关键输入，但绝不是唯一要核对的问题；边界、不可识别或奇异 nuisance 参数会改变极限分布。

实务分野（渐近等价 ≠ 有限样本等价）：Wald 常便于从无约束拟合获得（单参数回归的 z 值平方即相应 Wald 统计量），但对非线性参数化敏感，小样本或边界附近可能失真；LR 对一一光滑重参数化不变，但有限样本校准也可能不准，不能据此断言总最稳或功效最大；Score 在"约束模型好算、全模型难算"时独占（诊断检验/拉格朗日乘子检验——计量的 LM 检验即它）。

3. 功效的渐近视角（一段话版）

在具备相合性所需的可识别性、估计与检验正则条件时，固定备择下三大检验功效通常 \(\to 1\)——比较功效必须让备择随 \(n\) 靠近：局部备择 \(\theta_n = \theta_0 + h/\sqrt n\) 下统计量 \(\xrightarrow{d}\) 非中心 χ²（点原假设的非中心参数为 \(h^\top I h\)；一般约束则为 \((Rh)^\top(RI^{-1}R^\top)^{-1}(Rh)\)，只计算偏离约束流形的方向）——功效由 \(I\) 度量的"距离"决定，三大检验局部功效也等价；这套"\(1/\sqrt n\) 邻域内看清一切"的显微镜（Le Cam 局部渐近正态理论 LAN【引用】）是渐近统计的深水区门牌——其核心对象（对数似然比过程）与 sc-04 Girsanov 的似然比是同一族。

4. 渐近统计三页资产盘点

CMT/Slutsky/Delta（语法）→ M-估计三段论 + "曲率之逆 × 得分噪声"（MLE 主定理）→ N–P 排序原理 + 三剑客 χ²（检验）。在本页正则条件内，三页组成参数推断的基本链条；界外（高维 \(p \sim n\)、非光滑、误设）各有下游学科接管（hdp 线、稳健统计、slt 线）。

5. 练习与要点

例 1（三剑客亲算） 泊松 \(H_0:\lambda=1\)，观测 \(\bar X=1.2,n=100\)：Wald \(=n(\bar X-1)^2/\bar X=3.33\)；Score \(=n(\bar X-1)^2/1=4.0\)；

三者相近（等价的体现）但不等（有限样本的分野），都对照 \(\chi^2(1)_{0.05}\approx3.841\)：Score 拒绝、Wald 与 LR 不拒绝。边缘案例三剑客可以投出不同票，报告时说明用了哪把剑是学术诚实的一部分。

例 2（Wilks 实战：嵌套模型比较） 回归模型删 3 个变量：\(2(\ell_{\text{全}} - \ell_{\text{删}})\) 对照 \(\chi^2(3)\)——变量选择的 LR 检验流水线。具体说，\(\mathrm{AIC}_{\rm 删}-\mathrm{AIC}_{\rm 全}=\mathrm{LR}-2q\)；这是两个模型的 AIC 差，不是 AIC 绝对值，也不是按 \(\alpha\) 校准的检验。

例 3（Wald 的参数化陷阱） 检验 \(\theta = 1\) 与检验 \(\ln\theta = 0\) 的 Wald 统计量不同（Delta 缩放不抵消），LR 则完全相同——"换个参数化结论翻转"是 Wald 的原罪；报告时说明参数化和校准方法，再用另一种方法诊断有限样本敏感性。\(\blacksquare\)

独立迁移：别让一个 p 值代替整条推理

1. \(n=4,p_0=1/4,k=2\)：按概率排序算 exact 两侧 p 值，并与“双倍较小单尾”比较。在 \(\alpha=0.05\) 下，该 exact 规则实际第一类错误率是多少？
2. \(p_0=0.9,n=10,h=1\) 时，\(p_n=p_0+h/\sqrt n\) 能否用作当前二项备择？需要多大的 \(n\) 才落在 \([0,1]\)？
3. 二维信息阵为 \(I_2\)，原假设只约束 \(\theta_1=0\)。局部方向为 \(h=(0,3)\) 或 \((2,3)\)，各自的自由度和非中心参数是多少？

实验实现使用对数概率比较并仅给相等概率的舍入误差留裕量，不加固定的概率地板；极小 p 值用科学计数显示。概率排序与等尾方法的区别可对照 R 的二项检验实现；软件规则需连同采用的侧别与版本一起记录。

下一门：统计学习理论——把"检验一个假设"换成"从假设类里学一个假设"，PAC/VC/Rademacher 三部曲。