本页目录

实验双轨 · 代码 + 思想实验

定位：这门课的"插图"是做过的实验。两轨：代码轨把线二/三/六的概念变成你亲手跑通的结果（本地小模型/小语料，Mac MPS 或 Win 4060Ti 皆可）；思想轨是"不可形式化部分"的实验——用严格的反事实推理，探线四/五那些做不了代码的问题。 体例同六站 labs：给目标 / 思路 / 验收，不给完整参考解——留你实现的空间。代码轨可交给 GPT 在 Win 端落实现，你负责设计与判读；思想轨由你亲自写。

A. 代码轨（6 个）

L1 · Zipf 律与语料熵率 【线二 info-01】

目标：在一段真实语料上亲手验证 Zipf 律，并估计语言的熵率。 思路：分词 → 统计词频 → 画 log-log 频率-排名图，拟合斜率 \(\alpha\)；再用 n-gram 或一个小 LM 估计每-token 交叉熵（bits），换算困惑度。对照图 info-1。 验收：(1) 得到斜率 \(\alpha\approx 1\) 的直线；(2) 报告语料的 bits/token 与困惑度；(3) 打乱词序后重估熵率，量化"语言规律性"贡献了多少 bits。 延伸：换语言（中/英）比较 \(\alpha\)；验证 Heaps 律（词汇量 vs 语料长度）。

L2 · 分布语义的涌现 【线三 mean-01】

目标：从纯共现统计里长出"意义"的几何结构。 思路：建词-上下文共现矩阵 → 算 PPMI → SVD 降维（或直接训一个玩具 skip-gram）。用余弦相似度查近义词；验证线性类比 \(\vec{king}-\vec{man}+\vec{woman}\approx\vec{queen}\)。对照图 mean-1。 验收：(1) 近义词检索合理；(2) 至少一组类比成立；(3) 在有偏语料上重训，展示偏见如何被吸进向量（呼应 mean-01 §5 的缝）。 延伸：对比 PPMI+SVD 与 skip-gram，验证 Levy-Goldberg 的"预测≈矩阵分解"等价。

L3 · surprisal 预测阅读时间 【线二 info-02 / 线五 mind-01】

目标：亲手复现一条认知定律——阅读时间线性于 surprisal。 思路：用一个小预训练 LM 对一批句子算逐词 surprisal \(-\log_2 P(w_i\mid w_{<i})\)；对照公开的自定步速阅读/眼动数据，拟合 \(\text{RT}=\alpha+\beta S\)。对照图 info-2。 验收：(1) 得到显著正的 \(\beta\)、近似线性；(2) 在花园路径句上，surprisal 尖峰对齐实测阅读困难位置。 延伸：换不同大小的模型，观察拟合优度——检验"人像更弱/更短上下文预测器"（info-02 §7、mind-02 §5）。

L4 · 压缩、预测与信息瓶颈 【线二 info-04】

目标：把"预测=压缩"和"该压什么"变成可见的曲线。 思路：(a) 用 gzip 与一个小 LM 分别压同一语料，比较压缩率，验证"更好的 LM = 更好的压缩器"；(b) 玩具信息瓶颈：在一个有时序结构的序列上，画"压缩过去 vs 预测未来"的权衡曲线（预测信息 \(I_\text{pred}\)）。 验收：(1) LM 压缩率优于 gzip 且随模型质量提升；(2) 打乱序列后压缩率崩塌，量化规律性 bits；(3) 画出信息瓶颈权衡曲线，识别"只存可预测未来那部分"的甜点。 延伸：把 \(I_\text{pred}\) 用到你 Medusa 的事件序列上——量化一条叙事对未来的预测信息含量。

L5 · 世界模型探针（核心实验） 【线三 mean-03 / 线六 ai-01】—— 直接实验甲

目标：检验"纯序列预测能否反解出世界结构"——做一个你自己的 Othello-GPT 缩小版。 思路：定义一个可控玩具世界（如小网格导航、简化棋盘、状态机），只用动作/走子序列（纯符号，不告诉模型世界规则）训一个小 transformer 做下一符号预测。然后训一个探针从内部激活解码世界状态；再做干预（人为改内部表征）看预测是否随之改变。 验收：(1) 探针能显著优于随机地解出世界状态 → 存在内部世界模型；(2) 干预实验显示该表征因果有效（不只是相关）；(3) 报告 OOD 泛化：在未见过的状态组合上，世界模型是否仍成立（ai-02 §5 的泛化判据）。 延伸：这是你研究甲问最实的落点——可写成一篇小报告，也可接你的 capstone。

L6 · 机制可解释性初探（选做/进阶） 【线六 ai-03】

目标：在一个小模型里找到一个可解释的语言电路。 思路：复现"归纳头"（induction head）——在合成的重复序列上训练，定位负责"看到 AB…A 就预测 B"的注意力头；或用稀疏自编码器（SAE）在小模型激活上找若干单义特征。 验收：(1) 定位到至少一个功能明确、可消融验证的头/特征；(2) 消融它，相关能力显著下降。 延伸：向 mind-02 的核心张力靠拢——尝试在模型里分离"形式处理"与"功能推理"的子回路。

B. 思想轨（4 个）

规则：思想实验不是随便想。每个都要求：明确设定（改变哪一个变量）、逐步推理（依据本课哪条证据）、给出可被经验检验的预测或对照案例（哪怕现在做不了）。这是"不可形式化部分"的科学纪律。

T1 · 无语言者的心智 【线五 mind-02】

设想（或研究真实案例：先天失聪且晚习得手语者、Genie 类剥夺案例、成人失语症）：一个几乎无语言的人，保留哪些认知、缺失哪些？ 要产出：把"语言对智能的贡献"拆成基础推理 / 高阶符号推理 / 可传递可累积智能三档，各判语言是否必需，并各指一个可验证的对照（如失语症患者做算术 = 基础推理不需语言在线）。呼应 mind-02 §4。

T2 · 给黑猩猩一套形式符号 【线四 civ-02 / 线三 mean-03】

对照真实的 Kanzi / Nim Chimpsky / Sarah 实验：黑猩猩能学到多少符号能力，卡在哪？ 要产出：用 Deacon 的 icon→index→symbol 相变框架（civ-02 §5），定位它们卡在哪个跨越；提出一个能区分"关联学习"与"系统性象征学习"的判别实验设计。

T3 · 只有视觉、没有语言的 AI 【线三 mean-03 / 线六】

设想一个只在图像/视频上自监督、从不接触语言的强 AI。它能获得哪类"理解"？缺哪类？ 要产出：用三层接地（功能/指涉/现象，mean-03 §5、ai-02 §2）分析它的能力边界；预测它相对语言模型的强项（空间/物理直觉）与短板（抽象/组合/可传递知识），并指出多模态如何补足。

T4 · 失去文字的文明 【线四 civ-02/03】

设想一个突然永久失去书写（只剩口语 + 人脑）的现代文明，几代后能保住多少累积知识？科学还能运转吗？ 要产出：用累积文化的保真度阈值（civ-01 §6、图 civ-1）与分布式认知/外部记忆（civ-03）论证哪些知识会流失、哪些能靠口传保留；给出一个可考据的历史对照（口语社会 vs 识字社会的知识复杂度上限）。

交付与判读

下一页：收官——把这一切收拢成你自己的东西。挑一条轴、一个可证伪的小命题，写一份《我的语言—智能理论草案》。这是全课的出口，也是你研究生涯里"把大问题磨成可做研究"的第一次正式演练。