本页目录

概率 I · 概率空间与贝叶斯公式

概率论的第一页解决"概率是什么"：Kolmogorov 公理把它定义为满足三条规则的集合函数——从此概率论成为严格数学，其余一切（条件概率、独立性、Bayes）都是公理的推论。本页也是全站与 AI 课程交汇最密的一页：贝叶斯公式是机器学习半壁江山的地基。

图 prob-01.1贝叶斯：先验→似然→后验的概率树 / 混淆矩阵式方块图（如疾病检测假阳性）。

1. 概率空间

三元组 \((\Omega, \mathcal{F}, P)\)：样本空间 \(\Omega\)（一切可能结果）、事件域 \(\mathcal{F}\)（\(\Omega\) 的一族子集，对补与可列并封闭——σ-代数）、概率测度 \(P\)。

Kolmogorov 公理（1933） \(P: \mathcal{F} \to [0,1]\) 满足：

非负性：\(P(A) \geq 0\)；
规范性：\(P(\Omega) = 1\)；
可列可加性：\(A_1, A_2, \dots\) 两两互斥 \(\Rightarrow P\big(\bigcup_i A_i\big) = \sum_i P(A_i)\)。

（为什么需要 \(\mathcal{F}\) 而不给所有子集都定义概率？\(\mathbb{R}\) 上存在无法赋予长度的集合——实变页 Vitali 集；σ-代数就是"能安全谈概率的事件清单"。本科阶段记住动机即可。）

基本性质（全部由公理推出，各一行）：\(P(\varnothing) = 0\)；\(P(\bar A) = 1 - P(A)\)；单调性；加法公式

\[ P(A \cup B) = P(A) + P(B) - P(AB), \qquad P\Big(\bigcup_1^n A_i\Big) = \sum P(A_i) - \sum_{i<j} P(A_iA_j) + \cdots \ \text{（容斥）} \]

次可加性 \(P(\cup A_i) \leq \sum P(A_i)\)（联合界——🔗 ai 课 01 讲泛化界推导的第一步就是它）；概率的连续性：\(A_n \uparrow A \Rightarrow P(A_n) \to P(A)\)。

两个古典模型：古典概型 \(P(A) = \frac{|A|}{|\Omega|}\)（等可能有限，组合计数主战场）；几何概型 \(P(A) = \frac{\text{测度}(A)}{\text{测度}(\Omega)}\)（例：会面问题、Buffon 投针 \(P = \frac{2l}{\pi d}\)——用随机模拟反估 \(\pi\)，Monte Carlo 的鼻祖）。

2. 条件概率

定义 \(P(A \mid B) = \dfrac{P(AB)}{P(B)}\ (P(B) > 0)\)——"已知 \(B\) 发生，世界缩小为 \(B\)，在其中重新归一化"。\(P(\cdot \mid B)\) 本身是合法概率测度（满足三公理），一切概率公式对它照用。

乘法公式：\(P(A_1 A_2 \cdots A_n) = P(A_1)P(A_2 \mid A_1)\cdots P(A_n \mid A_1\cdots A_{n-1})\)。🔗 LLM 的自回归分解 \(P(w_1,\dots,w_T) = \prod P(w_t \mid w_{<t})\)（ai 课 07 讲）就是这条公式——"下一词预测"的数学出生证。

全概率公式 完备事件组 \(\{B_i\}\)（互斥、并为 \(\Omega\)，\(P(B_i) > 0\)）：

\[ P(A) = \sum_i P(B_i)\, P(A \mid B_i) \]

——"按原因分类讨论再加权"。由因求果用它。

3. 贝叶斯公式（本页顶点）

定理（Bayes） 在全概率公式的条件下：

\[ P(B_k \mid A) = \frac{P(B_k)\,P(A \mid B_k)}{\sum_i P(B_i)\,P(A \mid B_i)} \]

读法（背这个而不是公式本身）：

\[ \text{后验} = \frac{\text{先验} \times \text{似然}}{\text{证据}} \qquad P(\text{原因}\mid\text{结果}) \propto P(\text{原因}) \times P(\text{结果}\mid\text{原因}) \]

执果索因：观察到结果 \(A\)，反推各原因 \(B_k\) 的可能性——推断的数学本体。

必做名例（低基率陷阱）：某病患病率 \(0.1\%\)，检测灵敏度 \(99\%\)（患病者阳性率）、特异度 \(99\%\)（健康者阴性率）。阳性结果下真患病的概率？

\[ P(\text{病}\mid +) = \frac{0.001 \times 0.99}{0.001 \times 0.99 + 0.999 \times 0.01} \approx 9\% \]

阳性了也只有一成患病——先验（基率）低时，再准的检测也大部分是假阳性。这个反直觉是贝叶斯思维的成人礼；预测与判断类工作（包括你的预测层复盘）中"忽视基率"是头号认知事故。

🔗 AI 衔接总站：贝叶斯最优分类器 \(\arg\max_k P(Y{=}k\mid x)\)（ai 课 01 讲的理论上限）、朴素贝叶斯（03 讲，直接实现本公式）、"正则化 = 先验"的 MAP 观点（03 讲拉普拉斯平滑）、以及"新证据更新信念"作为超预测方法论的核心循环——全部从本节出发。

4. 独立性

定义 \(A, B\) 独立 \(\iff P(AB) = P(A)P(B)\)（等价于 \(P(A \mid B) = P(A)\)：\(B\) 的发生不改变 \(A\) 的信念）。

三个高频辨析：

独立 ≠ 互斥：互斥是"势不两立"（\(P(AB) = 0\)），独立是"互不相干"；正概率的互斥事件必不独立（一个发生另一个就没戏，信息量拉满）；
多事件：相互独立要求一切子组合都乘积分解（\(2^n - n - 1\) 条），两两独立不够（经典反例：两次抛硬币，\(A\)=首次正、\(B\)=次次正、\(C\)=两次同面——两两独立但 \(P(ABC) = \frac14 \neq \frac18\)）；
独立性对补运算封闭：\(A, B\) 独立 ⇒ \(\bar A, B\) 独立等。

独立试验模型：\(n\) 重 Bernoulli 试验——二项分布的舞台（下一页）。

5. 典型例题

例 1（全概率 + Bayes 连招） 三台机器产量占比 \(50\%, 30\%, 20\%\)，次品率 \(1\%, 2\%, 3\%\)。任取一件是次品，求来自机器 3 的概率。解：\(P(\text{次}) = 0.5(0.01) + 0.3(0.02) + 0.2(0.03) = 0.017\)；\(P(M_3 \mid \text{次}) = \frac{0.2 \times 0.03}{0.017} \approx 0.353\)。（注意产量占比小的机器因次品率高而"责任"放大。）

例 2（抽签公平性） \(n\) 支签一支有奖，依次抽不放回，证明第 \(k\) 个抽的人中奖概率也是 \(\frac1n\)。解：乘法公式 \(P = \frac{n-1}{n}\cdot\frac{n-2}{n-1}\cdots\frac{n-k+1}{n-k+2}\cdot\frac{1}{n-k+1} = \frac1n\)（望远镜相消）。——顺序不影响公平，"先抽后抽一个样"。

例 3（几何概型） 两人约定 12:00–13:00 随机到达，先到者等 15 分钟。求相遇概率。解：\((x, y) \in [0,60]^2\) 均匀，相遇 \(\iff |x - y| \leq 15\)。面积法：\(1 - \frac{45^2}{60^2} = \frac{7}{16}\)。\(\blacksquare\)

下一页：把随机结果数值化——随机变量与它的分布，常见分布全家福在此集合。