本页目录
机器 III · LLM 作为语言理论实验室
对标：Baroni 2022（作为语言学模型的神经网络）、Warstadt & Bowman、Piantadosi 2023（现代 LLM 与语言学）、Anthropic 机制可解释性、Futrell & Mahowald ｜ 前置：全课 ｜ 证据地位：这是方法论会师页——把前五线的争论重铸为可在 LLM 上做的实验。LLM 不只是研究对象，它是检验语言理论的"模式生物"。 线六收官，也是全课会师。前面反复出现同一句话："这可以在 LLM 上做实验。"这一页把它系统化：LLM 是语言学史上第一个可完全观测、可干预、可重复的语言系统——你能读它每个神经元、能消融、能控制训练数据。它把过去只能思辨或间接推断的争论，第一次搬进可控实验室。
1. 一个史无前例的实验对象
研究人类语言，你碰不到理论要害：不能打开大脑读表征、不能控制一个孩子的全部语言输入、不能重跑一个人的语言习得。LLM 全都能：
- 完全可观测：每一层激活、每个注意力权重、每个 token 概率，全部可读（对比人脑只能间接成像）。
- 完全可干预：消融神经元、编辑激活、控制训练语料——因果实验，不只相关（Othello-GPT 的干预，ai-01）。
- 完全可重复：同种子同数据可复现；可训一群"同卵"模型做对照。
这是范式转变：Piantadosi 等人主张，LLM 是语言学的"模式生物"（像果蝇之于遗传学）——不是因为它等于人，而是因为它是一个可解剖的、真的会语言的系统，让理论第一次能被直接验证。但记住 mind-02/mean-02 的纪律：模式生物启发假设，不直接证明人类结论——果蝇不是人，LLM 也不是。
2. 用 LLM 检验前五线（会师表）
把全课的核心争论，逐条重铸为 LLM 实验：
| 线 | 理论争论 | 在 LLM 上怎么做实验 | 现状 |
|---|---|---|---|
| 一/三（轴 I） | 强先天论 vs 涌现：语法可从数据学吗？ | 无 UG 的模型从纯语料学会复杂语法 → 削弱强先天论；但测数据效率（vs 儿童）暴露缺口 | 【争】松动，效率缺口未解 |
| 二 | surprisal = 加工难度 | 用 LLM 概率算 surprisal，预测人类阅读时间 | 【实】，且"人像更弱预测器"成新问题 |
| 三 | 分布假说能走多远 | 探针读词/句表征的几何；类比、句法树可解码性 | 【实】，句法结构确可探出 |
| 三（接地） | form ≠ meaning？ | 玩具世界训练 + 探/干预内部世界模型（Othello-GPT 类） | 【前沿】，部分指涉接地已验 |
| 五（轴 II） | 语言 ⊥ 推理？ | 机制可解释性找 LLM 内的"语言子回路"vs"推理子回路"，测能否分离 | 【前沿】，最热且够得着 |
| 六（轴 III） | 预测 = 理解？ | 三层接地分别测（功能基准/指涉探针/OOD 泛化） | 【实/前沿/思】分层 |
这张表是全课的操作化总纲：每一行都是一个（你够得着的）研究问题。"语言如何促成智能"这个宏大命题，就这样被拆成十来个可在实验室里做的小问题。 这正是导论许诺的"把大问题磨成可做问题"。
3. 探针与句法：LLM 学到了乔姆斯基的树吗？
一个具体样本（承 ling-02）：Chomsky 说语言有层级句法树。LLM 没有内建树结构，它学到树了吗？
- 结构探针（Hewitt & Manning）：从 BERT 的激活里，能用一个线性变换重建出依存句法树——树的深度对应激活空间里的平方距离。句法层级确实被隐式编码了，尽管从未被显式监督。
- 但形式不完全等于生成派的树：模型的表征是连续、分布式、上下文相关的，更像"软性、概率化的层级"，而非离散的 X-bar 结构。
- 启示：递归层级（ling-02 的【实】内核）可以由纯预测 + 通用架构涌现——但涌现出的形式，介于生成派的离散树与连接派的连续表征之间。这是对轴 I 一个漂亮的经验回答：不是非此即彼，而是"离散结构的连续实现"。
4. 机制可解释性：把争论做成神经科学
线六反复指向同一个终局工具（承 ai-01 §5、ai-02 §4）：要真裁决"理解/世界模型/语言⊥推理"，得读出内部机制。
- 特征（features）：用稀疏字典学习（SAE）把叠加的激活拆成单义特征——已能找到"语法一致性""指涉某实体""某语言"等可解释特征。
- 电路（circuits）：归纳头、"移动信息的"注意力头、事实回忆电路——把能力对应到可定位、可干预的子网络。
- 对语言理论的意义：过去"模型是否真的在做句法/推理/世界建模"只能靠行为猜（会被表层统计骗，中文房间的教训）；机制可解释性让你直接看。这是把语言学争论，转成对硅基网络的实验神经科学——一门刚诞生、你正好赶上的学科。
5. LLM 的局限：它不是人（三条护栏）
把 LLM 当模式生物，必须同时钉牢它不等于人的三处（全课纪律的汇总）：
- 数据效率鸿沟（mean-02、ling-03）：LLM 需 \(10^{12}\) token，儿童 \(10^{7\text–8}\)——差 4~5 个数量级。凡涉及"人如何习得"，LLM 只是弱类比。
- 无具身、无交互、无社会（mean-03、civ-01）：LLM 学在静态文本上；人学在多模态、具身、社会互动中。接地与意义的来源根本不同。
- 架构 ≠ 大脑（mind-01/02）：Transformer 的注意力不是皮层柱；LLM 单网络合一，人脑语言/推理分离。同构在"预测"这个抽象动词，差异在几乎所有实现细节。
用法准则：LLM 是假设发生器与充分性证明器——它能证明"某能力可以从预测涌现"（存在性），能生成"人也许如此"的假设；但"人是否如此"必须回到人类证据（神经、发展、临床）裁决。守住这条，你就能用 LLM 而不被它误导。
6. 要点与思考（线六收口）
思考 1（全课在此会师） 六条线到这里合流：线一给结构与争论，线二给可算的尺子，线三给意义与接地，线四给文明尺度，线五给人脑对照，线六给可实验的机器。LLM 是把前五线全部"操作化"的枢纽——§2 的表就是你的研究地图。每一个曾经只能空谈的争论，现在都有了一个实验入口。
思考 2（你的独特位置） 你同时具备：数学/信息论底子（线二）、动手能力（labs）、一个真实的 LLM 应用系统（Medusa）、和这门课给的立场地图。这让你能做很多纯理论语言学家做不了的事——把语言学争论写成代码、在模型上跑、用信息论量。这门课的最终目的，就是让你站到"能亲手做实验的语言理论研究者"这个稀缺位置上。
思考 3（走向收官） 下一步是把这一切收拢成你自己的东西：实验双轨（labs）让你亲手跑通几个关键实验，收官（capstone）让你挑一条轴、一个可证伪小命题，写一份属于你的《语言—智能理论草案》。知识地图已经铺完，接下来是你在图上走出自己的路径。 \(\blacksquare\)
六线全部走完。下一页：实验双轨——代码实验（Zipf、word2vec、surprisal、信息瓶颈、世界模型探针）+ 思想实验（无语言者、给黑猩猩符号、只有视觉的 AI、失去文字的文明）。理论要落到手上，不可形式化的部分要靠思想实验去探。