本页目录
信息论 III · 最大熵、信道容量与压缩预测
收官页三个高峰：最大熵原理（只知道部分信息时该假设什么分布——高斯与指数分布的第三种出身）、信道编码定理（噪声中可靠通信的极限）、以及压缩与预测的数学联系。最后讨论这些联系如何帮助理解语言模型，以及为什么预测或压缩性能还不能单独定义智能。
学习层：一个“最诚实分布”不会自动变成真实世界，一条容量公式也不是单次免错券
1. 先预测：约束、输入与信道各管哪一层？
实验把两个常被一句话揉在一起的问题并排放置：
- 在有限支撑 \(\{0,1,2,3\}\) 上，只给均值 \(E[X]=m\)，最大熵解表达的是“在这些约束内不额外下注”，还是已经识别了数据生成机制？
- 对翻转率为 \(\varepsilon\) 的二元对称信道，\(R<C\) 是单次传输零错误，还是存在一列长块码使误码率趋零？
- 容量 \(C=\max_{p(x)}I(X;Y)\) 优化的是输入分布还是噪声本身？
提交前不显示最优分布、互信息曲线和容量差。揭示后，先解同一个有限最大熵问题，再扫描 BSC 的输入偏置 \(q=P(X=1)\)；这样“约束选择”“输入设计”和“信道规律”不会偷换成同一个旋钮。
2. 静态后备：两本账分别验
JavaScript 失效时的静态读法：有限最大熵问题为
内点解有指数族形式 \(p_i(\lambda)=e^{\lambda i}/\sum_j e^{\lambda j}\)，\(\lambda\) 由均值约束唯一确定；\(m=1.5\) 时 \(\lambda=0\)，因此四点均匀且 \(H=2\) bit。端点 \(m=0\) 或 \(3\) 时可行集退化成点质量，熵为 \(0\)，不能继续套“内点指数族”而忽略边界。
| 场景 | 精确量 | 正确解释 |
|---|---|---|
| \(m=1.5\) | \(p=(1/4,1/4,1/4,1/4)\)，\(H=2\) bit | 给定支撑和均值后的最大熵解 |
| \(m=0\) | \(p=(1,0,0,0)\)，\(H=0\) | 约束本身已经把分布钉死 |
| BSC，\(q=1/2\) | \(I(X;Y)=1-h_2(\varepsilon)=C\) | 对称输入达到容量 |
| BSC，\(q=0\) 或 \(1\) | \(I(X;Y)=0\) | 输入恒定，输出再随机也没有消息 |
对 BSC，\(P(Y=1)=\varepsilon+q(1-2\varepsilon)\)，所以
曲线在 \(q=1/2\) 达最大值，不是因为均匀输入“减少了翻转”，而是它让输出边缘熵最大。实验同时报告 \(C-I\)，让“当前输入表现”与“信道可达到的上限”分账。
3. 从玩具账本回到定理
- 最大熵依赖你写下的约束与参考测度。遗漏一个已知约束会改变答案；选出的分布是推理规则的结果，不是经验真实性证书。
- 容量是每次信道使用的渐近速率。\(R<C\) 允许块长趋大时构造误码率趋零的码族，不保证有限块、指定译码器或单个符号零错误。
- \(I(X;Y)\) 是当前输入分布下的互信息。只有再对 \(p(x)\) 最大化才得到容量；一般非对称信道的最优输入未必均匀。
- 本实验只处理离散四点最大熵和 BSC。连续变量还要说明基准测度，微分熵也不具备离散熵那种坐标不变的绝对含义。
4. 迁移：保持约束，改变输入
先算 \(m=1\) 时的最大熵分布，再保持 BSC 的 \(\varepsilon=0.1\)，把输入从 \(q=1/2\) 改为 \(0.12\)；哪些量变了，哪些量没变？最后把 \(\varepsilon\) 设为 \(1/2\)，均匀输入还是唯一最优吗？
核对分布、容量差与纯噪声反例
- 最大熵解的 \(\lambda\simeq-0.419618\)，\(p\simeq(0.421351,0.276953,0.182041,0.119655)\)，其和为 1、均值为 1，熵约 1.852286 bit。因为 \(m<1.5\)，指数倾斜向低数值点；这仍只是给定支撑、均值与计数参考测度下的解。
- \(q=0.12\) 时 \(P(Y=1)=0.196\)，\(I\simeq0.244860\) bit/use；信道没变，所以 \(C\simeq0.531004\) 不变，容量差约 0.286144。调输入不等于降低噪声翻转率。
- \(\varepsilon=1/2\) 时 \(P(Y=1)=1/2\) 与 \(q\) 无关，\(I=C=0\)，所有输入分布都达到零容量。不能从“均匀输入达到容量”推出“只有均匀输入能达到容量”。
1. 最大熵原理
原理（Jaynes）：在满足已知约束的所有分布中，选熵最大的那个——除了已知的，不额外假设任何东西（"最诚实的无知"，Occam 剃刀的分布版）。
求解 = 带约束的凸优化（优化 III 的 Lagrange 全套上岗）。对约束 \(E[f_k(X)] = c_k\)，Lagrange 函数对 \(p(x)\) 求偏导置零，在存在可归一化内点极值的正则条件下得到指数族形式；边界解或不存在最大值的情形须另查：
在实验的四点支撑上，可以把这一步写完整。为简化导数，先用自然对数最大化 \(H_e(p)=-\sum_i p_i\ln p_i\)；乘上 \(1/\ln2\) 不改变最优解。对约束 \(\sum p_i=1\)、\(\sum ip_i=m\)，令
内点驻点给出 \(-\ln p_i-1+\alpha+\lambda i=0\)，归一化后就是 \(p_i^*=e^{\lambda i}/Z(\lambda)\)。而 \(d\ln Z/d\lambda=E[X]\)、\(dE[X]/d\lambda=\operatorname{Var}(X)>0\)，所以内点均值唯一确定 \(\lambda\)。这还不只是“找到驻点”：对任何满足同样均值的 \(p\)，
因此 \(p^*\) 确实全局最大熵；KL 取零仅当 \(p=p^*\)，也给出唯一性。端点均值则回到前面的点质量，另行处理。
三个特例（一张表记住三大分布的"信息论出身"）：
| 已知约束 | 最大熵分布 |
|---|---|
| Lebesgue 测度、有限区间 \(a<b\) | 均匀分布（无知的极致） |
| Lebesgue 测度、支撑 \([0,\infty)\) + 正有限均值 | 指数分布 |
| Lebesgue 测度、有限均值 + 正有限方差（全实轴） | 高斯分布 |
高斯至此三重身份齐备：CLT 的极限（概率 V）、热核（pde-02）、给定均值方差下最诚实的假设（本页）——"为什么默认高斯"从此有三条独立的答案。统计力学对账一嘴：Boltzmann 分布 \(p \propto e^{-E/kT}\) 恰是"给定平均能量的最大熵分布"——热力学熵与信息熵在数学上是同一个函数（Shannon 请教 von Neumann 命名时的著名轶事有其严肃内核）。指数族也是统计 II 里"有充分统计量、共轭先验"的那族分布——三门课在此互认。
2. 信道容量：噪声中的可靠通信
信道：输入 \(X\)，输出 \(Y \sim p(y\mid x)\)（噪声）。容量：
定理（有限字母表离散无记忆信道） 以每次信道使用的信息 bit 数计，任意固定 \(R<C\) 都存在块长趋于无穷的码族，使块误码率趋于零；固定 \(R>C\) 不能达到这一目标。定理并不替指定有限块长或译码器保证性能；恰好 \(R=C\) 的边界不能由严格不等式直接推出。
革命性在哪：噪声信道上竟能任意可靠地通信（此前工程师以为噪声必然导致错误积累），条件是固定速率严格低于 \(C\)，并允许足够长的码块——手段是冗余编码（把信息摊在长块上，让噪声"平均掉"——大数定律的通信版）。证明思想（随机编码 + 典型序列）是概率方法的名演；实用纠错码（汉明码、LDPC、Polar 码——5G 里的那个）是把存在性变成工程的七十年长跑。例：二元对称信道（翻转概率 \(\varepsilon\)）：\(C = 1 - h(\varepsilon)\)——上一页例 3 的互信息恰是它（均匀输入达到最大）。
微分熵一嘴（连续版）：\(h(X)=-\int f\ln f\) 以自然对数计，单位是 nat；它可为负（依赖坐标与参考测度；一般两个微分熵之差也不坐标不变），高斯在给定方差下最大化它（§1 的连续版）。对实标量、无记忆 AWGN 信道施加平均功率约束，若容量统一用 bit/次实信道使用，则 \(C=\frac12\log_2(1+\mathrm{SNR})\)；复基带模型按每次复信道使用计时，常见写法没有前面的 \(1/2\)。若全程用 \(\ln\)，数值改以 nat/次计。底数、信道使用的计数方式与单位必须一起说明。
若 \(Y=g(X)\) 是光滑可逆变换且积分存在，则
例如 \(Y=e^X\) 会增加 \(E[X]\)；若比较两个均值不同的分布，这个修正也不同，熵差不能普遍保持不变。对两分布同时作相同可逆变换时，KL 散度的 Jacobian 会在密度比中抵消，才有相应不变性。
3. 从压缩到预测：联系与边界
三块拼图合成一个命题：
- 预测 → 压缩（算术编码）：给定逐步归一化的预测模型 \(q(x_t\mid x_{<t})\)，序列概率是 \(q(x_{1:n})=\prod_tq(x_t\mid x_{<t})\)。在解码器已知长度 \(n\)、被编码序列的 \(q>0\)、区间运算精确的理想模型中，选取包含于最终概率区间的二进制子区间，可使整段码长满足 \(-\log_2q\le\ell< -\log_2q+2\)。常数来自整段的二进制取整与收尾，不是说每个符号恰占 \(-\log q\) 个整数比特。若还要编码长度，应另计长度头；实际有限精度的概率量化和区间取整也须另记冗余，它们可能随 \(n\) 累积，不能无条件塞进相对原始 \(q\) 的 \(O(1)\)。在理想固定长度模型下除以 \(n\)，收尾开销才渐近消失，期望码率趋向该序列分布的每符号交叉熵；
- 压缩 → 预测（带条件的反向）：对固定长度、可归一化的前缀码或唯一可译码，设码长为 \(\ell(x_{1:n})\)、\(Z=\sum_x2^{-\ell(x)}\in(0,1]\)，可令 \(q_n(x)=2^{-\ell(x)}/Z\)，再对每个非零概率前缀求条件分布。因为 \(-\log_2q_n=\ell+\log_2Z\le\ell\)，该块分布的理想负对数长度不大于原码长；但不同 \(n\) 的分布未必相容，不能自动拼成一个无限在线模型。任意黑箱压缩格式不必直接暴露可用的下一 token 概率；变长对象、结束符和在线一致性都要另行约定；
- 语言模型的联系：下一 token 交叉熵衡量模型给测试序列分配的平均负对数概率；若用同一分布编码，它对应理想码率。以 bit 为单位时困惑度为 \(2^{H(p,q)}\)，可理解为有效不确定性规模，通常不是实际候选数的算术平均。模型参数存储、分词、计算与有限精度开销另计；训练损失也不等于泛化能力或智能的完整度量，不能据此断言已经把整个互联网压缩到极限。
Kolmogorov 复杂度一瞥（理论天花板）：相对于固定通用机 \(U\)，\(K_U(x)\) 是让 \(U\) 输出 \(x\) 的最短程序长度；换通用机至多改变一个依赖机器、不依赖字符串的加法常数。它不可计算，但能严格表达“不可压缩”：对均匀随机的 \(n\) 位串，计数表明 \(\Pr[K_U(X)<n-c]\le2^{-c}\)（常数细节随所用 plain/prefix 版本调整）。因此有限随机串只是以高概率不可压缩，并不是每一条“看起来乱”的串都能被证明没有短程序。MDL 把这条思想变成“模型码长 + 数据码长”的选择原则。
4. 典型例题
例 1（最大熵推导指数分布） 支撑 \([0,\infty)\)、\(E[X] = \frac1\lambda\)：\(p^* \propto e^{-\lambda_1 x}\)（§1 通解，\(f_1 = x\)），归一化定出 \(p^* = \lambda e^{-\lambda x}\) ✓——"等待时间无额外假设 ⇒ 指数分布"，概率 II 无记忆性的第三种解释。
例 2（信道容量计算） 翻转率 \(\varepsilon = 0.1\) 的 BSC：\(C = 1 - h(0.1) \approx 0.531\) 比特/次——渐近每个信息 bit 至少需约 \(1/C=1.8832\) 次使用。可靠长块传 \(k\) bit 时须取 \(n/k>1/C\) 并控制有限块误差；不能把比例换算读成“单独 2 bit 只需 3.8 次、取整就可靠”。
例 3（MDL 直觉） 数据 = 1000 位交替的 0101…：逐位存 1000 比特；"程序：打印 01 五百次"约几十比特——规律 = 可压缩性。反过来不能检查某个有限字符串的外观后断言它“真随机”；上面的计数界只说均匀抽取时，能省下至少 \(c\) bit 的字符串比例至多约为 \(2^{-c}\)。\(\blacksquare\)
信息论三页完工。下一门把布朗运动炼成微积分——随机微积分：Itô 引理、SDE，以及金融与扩散模型共用的那套数学。
编码来源：Stanford EE368B 无损编码讲义 Part 2 解释概率区间与整段收尾开销；有限精度相对原模型的冗余需另外计量。