本页目录

概率 II · 随机变量与分布

随机变量把"随机结果"翻译成"数"，从此微积分全套工具进场。本页两件事：分布的描述工具（分布函数/分布列/密度），以及常见分布全家福——每个分布都记三件事：它建模什么场景、参数含义、期望方差。

学习层：同一分布，四种镜头能不能互相翻译？

1. 具体谜题：一根“概率曲线”到底能不能看见所有质量？

把同一个随机变量交给四个读数器：离散时看点质量 / PMF，所有情形都看 CDF，绝对连续部分看密度下的区间面积，再用 quantile 把概率刻度反过来映回数轴。谜题是：如果分布在 \(x=0.4\) 处突然放了 \(0.3\) 的质量，同时剩余 \(0.7\) 均匀铺在 \([0,1]\) 上，那么“密度在 \(0.4\) 附近是多少”和“\(P(X=0.4)\) 是多少”为什么不是同一个问题？

再把 \(X\sim U(-1,1)\) 变成 \(Y=X^2\)。这个函数先下降后上升；当 \(y>0\) 时，\(x=+\sqrt y\) 与 \(x=-\sqrt y\) 两条路径都会到达同一个 \(y\)。只套一条单调 Jacobian 会漏掉一半质量。

2. 先预测：四个读数器先各写一句话

在打开实验前，先回答：

  1. 离散三点分布在 \(x=1\) 处的 CDF 是平滑经过，还是跳跃？跳跃高度应当和哪个量相等？
  2. 混合模型在 \(x=0.4\) 的点概率、连续部分密度和区间概率，分别应该由哪一本账记录？能否用一个普通 PDF 把三者一次性包办？
  3. 若 \(p\) 落在原子造成的 CDF 跳跃高度内部，\(Q(p)=\inf\{x:F(x)\ge p\}\) 会线性插值，还是停在原子位置？
  4. 对 \(Y=X^2\) 和 \(y=0.25\)，原像有几个？两个原像的密度贡献应该相加还是相减？

3. 最小模型：四种表示只是同一测度的不同投影

先固定四个完全解析的预设：

离散模型。 \(P(X=0)=0.2,\ P(X=1)=0.5,\ P(X=2)=0.3\)。点质量是 PMF 的条目，CDF 在 \(0,1,2\) 处跳跃。

绝对连续模型。 \(X\sim U(0,1)\)，\(f_X(x)=1\)（\(0<x<1\)），所以 \(F(x)=x\)（在 \([0,1]\) 内），\(P(a<X\le b)=\int_a^b f_X(x)\,dx=b-a\)（\(0\le a\le b\le1\)）。

混合模型。

\[ \mathcal L(X)=0.3\,\delta_{0.4}+0.7\,U(0,1). \]

它在 \(0.4\) 有原子质量 \(0.3\)，连续部分的密度是 \(0.7\)（在 \([0,1]\) 上），但整个分布没有一个普通的 Lebesgue PDF 可以把原子也表示成面积。比如

\[ P(0.2<X\le0.5)=0.7(0.5-0.2)+0.3=0.51. \]

非单调变换。 \(X\sim U(-1,1),\ Y=X^2\)。对 \(0<y<1\)，

\[ F_Y(y)=P(-\sqrt y\le X\le\sqrt y)=\sqrt y,\qquad f_Y(y)=\frac{1/2}{2\sqrt y}+\frac{1/2}{2\sqrt y}=\frac1{2\sqrt y}. \]

两项分别来自 \(+\sqrt y\) 与 \(-\sqrt y\)，不能把 \(g(x)=x^2\) 当成全域单调函数来套一条逆函数公式。

四种表示的翻译规则可以压缩成：

  1. 点质量 / PMF：\(p(x)=P(X=x)\)，离散时对所有支持点求和；连续点的 \(p(x)\) 可以处处为 \(0\)。
  2. CDF：\(F(x)=P(X\le x)\)，总是右连续；原子表现为跳跃；在绝对连续部分可由密度解释斜率。一般连续 CDF 还可能含奇异连续部分，不能只读导数。
  3. 密度 / 区间面积：若全分布绝对连续，\(P(a<X\le b)=\int_a^b f\)。混合分布只能把连续部分面积和原子质量分开相加。
  4. Quantile / generalized inverse：对 \(0<p<1\)，\(Q(p)=\inf\{x:F(x)\ge p\}\)。CDF 有跳跃时，跳跃对应的整段 \(p\) 都映回同一个原子位置。

为什么均匀概率刻度能生成原分布？对 \(0<p<1\)，由 \(F\) 单调、右连续可得 \(Q(p)\le x\iff p\le F(x)\)。所以若 \(U\sim U(0,1)\)，就有 \(P(Q(U)\le x)=P(U\le F(x))=F(x)\)。原子跳跃使整段均匀概率落到同一点，概率质量因此恰好守恒。

4. 可操作实验：先过预测门，再切换同一份账本

下方实验固定预设和解析公式，不调用随机数。揭示后可以切换四个模型、改变区间 \((a,b]\) 和 quantile grid 点数 \(N\)。四格图共用同一个模型：PMF / 点质量、CDF、密度与区间面积、quantile / generalized inverse。图内标注使用英文，方便把 \(F\)、density、area、\(Q\) 这些符号和正文公式对齐。平方变换的密度在零点无界，图中纵轴显示到 \(4\) 并明确截去顶部；阴影只显示视窗内部分，区间质量读解析账本，不把截顶面积当成完整概率。

无 JavaScript 时的完整静态读法：四个预设都用解析式读取，绝不把 quantile grid 冒充 IID 随机样本。令 \(p_i=(i+\tfrac12)/N\)，网格点为 \(Q(p_i)\)，每个点权重 \(1/N\)；它是中点积分 / 可视化规则，因此相同预设和 \(N\) 每次都给出相同结果。

预设 点质量 / PMF CDF 与区间 密度读法 Quantile
\(0,1,2\) 三点离散 \(0.2,0.5,0.3\) 在 \(0,1,2\) 跳跃；\(P(0.5<X\le1.5)=0.5\) 没有普通密度，用点质量求和 \(Q(0.2)=0,\ Q(0.21)=1\)
\(U(0,1)\) 每个点 \(P(X=x)=0\) \(F(x)=x\)；\(P(0.2<X\le0.7)=0.5\) \(f=1\)，区间面积就是 \(0.5\) \(Q(p)=p\)
\(0.3\delta_{0.4}+0.7U(0,1)\) \(P(X=0.4)=0.3\) \(F(0.4^-)=0.28,\ F(0.4)=0.58\)；\(P(0.2<X\le0.5)=0.21+0.3=0.51\) 连续部分密度为 \(0.7\)，但原子不是这条密度的面积；没有完整普通 PDF \(0.28\le p\le0.58\) 时 \(Q(p)=0.4\)
\(Y=X^2,\ X\sim U(-1,1)\) 每个 \(y\) 的点概率为 \(0\) \(F_Y(y)=\sqrt y\)；\(P(0.25<Y\le0.64)=0.8-0.5=0.3\) \(f_Y(y)=1/(2\sqrt y)\)，来自两个原像贡献相加 \(Q(p)=p^2\)

“点概率为 \(0\)”不等于“不可能”：例如 \(U(0,1)\) 中 \(P(X=0.5)=0\)，但 \(P(0.49<X\le0.51)=0.02>0\)；对 \(Y=X^2\)，\(P(Y=0.25)=0\) 也不妨碍邻近区间有正概率。混合模型则正好提供反例：\(P(X=0.4)=0.3>0\)，所以不能把所有分布都硬说成“处处有 PDF”。

5. 误区与边界：每一种图都要带着条件读

  • CDF 不是 PMF 的另一种画法而已。 PMF 只把质量放在离散点；CDF 累积所有不超过 \(x\) 的质量。连续分布也有 CDF，即使每个点的概率都是 \(0\)。
  • 密度值不是点概率。 \(f(0.5)=1\) 不是 \(P(X=0.5)=1\)；点概率要看原子，区间概率要积面积。密度在单点的取值甚至可以修改而不改变分布。
  • 混合分布没有“处处 PDF”这句捷径。 连续部分可以有密度，但原子是相对于 Lebesgue 测度的奇异质量，必须单独记账。
  • 非单调变换不能只保留一个根。 \(Y=X^2\) 在 \(y>0\) 有两个原像；分布函数法先求 \(P(g(X)\le y)\) 最稳妥，公式法也必须对所有可行原像求和。
  • 广义逆不是普通函数的逐点反解。 CDF 跳跃时，\(Q(p)=\inf\{x:F(x)\ge p\}\) 会把一段概率刻度压到原子；连续严格增只是更简单的特例。
  • quantile grid 不是随机实验。 网格点是人为固定的 \(p_i\)，没有 IID、没有随机 seed 方差，也不能用一张网格图声称“抽样结果”。它适合确定性积分与比较表示。

6. 迁移问题：换模型后，哪一条翻译规则还成立？

  1. 把混合模型的原子从 \(0.4\) 移到 \(0.8\)，保持原子权重 \(0.3\)。写出 \(F(0.8^-)\)、\(F(0.8)\)，并判断 \(Q(p)\) 在哪一段 \(p\) 上恒等于 \(0.8\)。
  2. 若 \(X\sim U(-2,2)\) 且 \(Y=X^2\)，先用事件法写出 \(F_Y(y)\)，再解释为什么 \(f_Y(y)\) 仍要把正负两个根相加；支持集和 \(y=0\) 附近的密度会怎样变化？
  3. 对任意给定 CDF，如何用 \(Q(p_i)\) 和等权中点规则近似 \(E[h(X)]\)？写出近似式，并说明它何时只是确定性积分近似，不能当作 Monte Carlo 误差条。
  4. 给出一个点概率为 \(0\) 但区间概率为正的例子，再给出一个含原子的混合分布例子；分别指出应查看 CDF 的斜率还是跳跃。
迁移题核对：原子移动、两根相加与积分规则
  1. \(F(0.8^-)=0.7(0.8)=0.56\)，\(F(0.8)=0.86\)；\(Q(p)=0.8\) 对 \(p\in[0.56,0.86]\) 成立。这里左端也包含，因为 \(x<0.8\) 时 \(0.7x<0.56\)。
  2. \(F_Y(y)=0\)（\(y<0\)），\(F_Y(y)=\sqrt y/2\)（\(0\le y\le4\)），\(F_Y(y)=1\)（\(y>4\)）。两根各贡献 \((1/4)/(2\sqrt y)\)，合得 \(f_Y(y)=1/(4\sqrt y)\)（\(0<y<4\)）。零点密度发散但可积，且无原子；\(Q(p)=4p^2\)。
  3. 若 \(E|h(X)|<\infty\)，则 \(E[h(X)]=\int_0^1 h(Q(p))\,dp\)。取 \(p_i=(i+1/2)/N\) 后近似为 \(N^{-1}\sum_{i=0}^{N-1}h(Q(p_i))\)；例如 \(h\circ Q\) 黎曼可积时，中点和收敛。仅有 Lebesgue 可积性不保证任意固定网格收敛，也不给 IID 标准误。
  4. \(U(0,1)\) 中 \(P(X=1/2)=0\)，而 \(P(0.4<X\le0.6)=0.2\)；本页混合模型在 \(0.4\) 的跳跃为 \(0.3\)，区间账还要加连续面积。

四种预设没有穷尽所有分布。令独立公平位 \(B_j\in\{0,1\}\)，\(X=\sum_{j\ge1}2B_j/3^j\) 落在 Cantor 集。单点质量为零（前 \(m\) 位固定的概率至多 \(2^{1-m}\to0\)），故 CDF 连续；其支持集长度为零，故没有普通密度。CDF 在删去的开区间上恒定，导数几乎处处为零，却从 \(0\) 增至 \(1\)。这说明“连续 CDF”比“有 PDF”更宽。参照 Cantor 分布讲义；先修：测度、Lebesgue 积分。

1. 随机变量与分布函数

定义 随机变量 \(X: \Omega \to \mathbb{R}\)（可测函数——每个事件 \(\{X \leq x\}\) 都在事件域内）。

分布函数 \(F(x) = P(X \leq x)\)。特征性质（是分布函数 \(\iff\) 三条全满足）：单调不减；右连续；\(F(-\infty) = 0, F(+\infty) = 1\)。区间概率 \(P(a < X \leq b) = F(b) - F(a)\)；单点概率 \(P(X = a) = F(a) - F(a^-)\)（跳跃高度，连续分布处处为零——连续型单点概率为 0 但不代表不可能）。

2. 离散型：分布列与四大分布

连续与离散四大分布

图 2.1四大分布一览：连续型（正态钟形、指数）与离散型（二项、Poisson）——概率论的"常用词汇表"。

\(P(X = x_k) = p_k\)，\(\sum p_k = 1\)。

分布 分布列 场景 \(E\) \(D\)
0–1 分布 \(B(1,p)\) \(P(X{=}1){=}p\) 单次成败 \(p\) \(p(1-p)\)
二项 \(B(n,p)\) \(\binom{n}{k}p^k q^{n-k}\) \(n\) 重独立试验成功数 \(np\) \(npq\)
泊松 \(P(\lambda)\) \(\dfrac{\lambda^k}{k!}e^{-\lambda}\) 单位时间稀有事件数 \(\lambda\) \(\lambda\)
几何 \(G(p)\) \(q^{k-1}p\) 首次成功所需次数 \(\frac1p\) \(\frac{q}{p^2}\)
超几何 \(\frac{\binom{M}{k}\binom{N-M}{n-k}}{\binom{N}{n}}\) 不放回抽样 \(n\frac{M}{N}\) —

表中 \(q=1-p\)；二项 \(n\) 为非负整数、\(0\le p\le1\)、\(k=0,\ldots,n\)；Poisson \(\lambda>0\)、\(k=0,1,\ldots\)；几何取 \(0<p<1\)、\(k=1,2,\ldots\)。超几何要求整数 \(0\le M,n\le N\)，只在两个组合数均可行的 \(k\) 上取值。

泊松定理（二项的极限）：\(n \to \infty,\ np \to \lambda\) 时 \(B(n, p) \to P(\lambda)\)——"大量机会 × 微小概率 = 泊松"，有限样本的准确程度还取决于 \(p\) 与所求事件，不能仅凭两个经验阈值保证。几何分布的无记忆性：\(P(X > m + n \mid X > m) = P(X > n)\)（离散唯一；"已经失败 m 次"不改变未来——赌徒谬误的数学反驳）。

3. 绝对连续型：密度与常见分布

以下均匀分布要求 \(a<b\)，指数要求 \(\lambda>0\)，非退化正态要求 \(\sigma>0\)。密度表示为 \(F(x) = \int_{-\infty}^x f(t)\,dt\)；\(f \geq 0\)，\(\int f = 1\)；\(F' = f\)（连续点处）。

分布 密度 场景 \(E\) \(D\)
均匀 \(U(a,b)\) \(\frac{1}{b-a}\) 于 \((a,b)\) 等可能区间 \(\frac{a+b}{2}\) \(\frac{(b-a)^2}{12}\)
指数 \(\mathrm{Exp}(\lambda)\) \(\lambda e^{-\lambda x}\ (x>0)\) 等待时间/寿命 \(\frac1\lambda\) \(\frac{1}{\lambda^2}\)
正态 \(N(\mu, \sigma^2)\) \(\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\) 大量因素叠加 \(\mu\) \(\sigma^2\)
Gamma / Beta （形状族） 等待 \(k\) 次事件 / \([0,1]\) 上的比例 — —

指数分布的无记忆性（连续唯一）：\(P(X > s + t \mid X > s) = P(X > t)\)——"用过的和新的一样"，可靠性理论与排队论的基石（🔗 随机过程页 Poisson 过程的间隔）。

正态分布专栏（最重要的分布，单列）：

4. 随机变量函数的分布

\(Y = g(X)\) 的分布：

\[ f_Y(y) = f_X\big(g^{-1}(y)\big)\,\Big|\frac{d\,g^{-1}(y)}{dy}\Big| \]

（导数因子 = 一维 Jacobi——变量替换的"密度守恒"：\(|f_Y\,dy| = |f_X\,dx|\)。🔗 归一化流生成模型的核心公式就是它的多维版，行列式换成 Jacobi 行列式，数分 VI/V 呼应。）

必会两例：\(X \sim N(0,1) \Rightarrow Y = X^2 \sim \chi^2(1)\)（分布函数法，密度 \(\frac{1}{\sqrt{2\pi y}}e^{-y/2}\)——统计页三大分布的起点）；\(F\) 连续严格增时 \(F(X) \sim U(0,1)\)（概率积分变换——一切随机数生成的原理：均匀数过广义逆 \(Q\) 得任意分布）。

5. 典型例题

例 1（正态概率） 某测量 \(X \sim N(10, 4)\)，求 \(P(8 < X \leq 14)\)。 解：标准化 \(P(-1 < Z \leq 2) = \Phi(2) - \Phi(-1) = 0.9772 - (1 - 0.8413) = 0.8185\)。

例 2（泊松近似） 某书 500 页共 100 个错字，假设每个错字独立且等概率落在各页，求某页至少 2 个错字的概率。 解：准确模型是 \(B(100,1/500)\)，再近似为 \(P(\lambda),\ \lambda = 0.2\)：\(P(X \geq 2) = 1 - e^{-0.2}(1 + 0.2) \approx 0.0175\)。

例 3（函数分布，分布函数法全流程） \(X \sim U(0, 1)\)，给定 \(\lambda>0\)，求 \(Y = -\frac{1}{\lambda}\ln X\) 的分布。 解：\(y > 0\) 时 \(F_Y(y) = P(-\frac1\lambda \ln X \leq y) = P(X \geq e^{-\lambda y}) = 1 - e^{-\lambda y}\)——指数分布。这正是"均匀数变指数数"的生成器公式（概率积分变换的实战版，Monte Carlo 模拟必备）。\(\blacksquare\)

下一页：多个随机变量同台——联合分布、独立性、卷积与二维正态。