本页目录

方法 III · 复现危机与证据分级

本站的灵魂页,也是任何 2020 年代之后写的心理学教材必须有、而多数仍然没有的一页。2011 年起,心理学开始系统检查自己的经典结论——结果是这门学科最痛苦、也最光荣的十五年

1. 引爆点与体检结果

三件事同时发生在 2011–2015:Bem 发表"人能预知未来"的论文(用的全是当时标准的方法与统计——如果标准方法能证明超能力,那标准方法有问题);Stapel 数据造假案曝光;Simmons 等人发表《False-Positive Psychology》,演示了研究者自由度如何让完全无效的假设轻松做出 \(p<0.05\)

体检(Open Science Collaboration, 2015):100 项心理学研究的大规模复现——

其后多项大规模项目(Many Labs 系列、Reproducibility Project、Registered Replication Reports)反复给出同量级结论。

Original vs replication effect sizes

图 3.1原始研究 vs 复现研究的效应量(示意,按 OSC 2015 的整体格局绘制):绝大多数点落在对角线**下方**——复现效应普遍缩水约一半,且相当一部分落到零附近。这张图是本站三档标注制的经验依据。

2. 病因:不是造假,是激励与统计

造假是极少数。真正的病因是一套人人都在无意中使用的做法(QRPs,可疑研究实践):

做法 后果
p-hacking 试多个分析、多个变量、多个排除标准,报告好看的那个 假阳性率从 5% 飙到 50%+
HARKing 看到结果后再"提出"假设,写成事先预测 把探索伪装成检验
发表偏倚 期刊只发显著结果,零结果进抽屉 文献本身是"幸存者"的集合
低功效 小样本成为常态(典型功效仅约 0.35) 显著结果的效应量必被高估(winner's curse,第 02 页)

关键认识:这些做法在当时并不被视为作弊——它们是"讲好一个故事"的常规操作。危机的本质是激励结构(发表 = 新颖 + 显著)与统计现实(真效应小、噪声大)的碰撞。🔗 这与你数学站统计 IV 的多重检验、时序页的伪回归是同一堂课的三个现场。

3. 名单:哪些倒了、哪些摇了、哪些站着

【倒】复现失败或有硬伤,但仍在流行文化与旧教材里

【摇】效应可能真实,但远小于流行说法 / 强条件依赖

【稳】经得起大规模复现的核心结论(本站会反复引用它们)

4. 改革:这门学科怎么自救的

预注册(分析方案先公开再收数据——把探索与检验分开)、注册报告(期刊在看结果之前决定是否发表,从根上切断发表偏倚)、数据与材料开放多实验室协作(Many Labs)、样本量与功效要求提高效应量与置信区间取代唯 p 值

成效:新一代研究的样本量与预注册比例显著提升;但改革不均匀——旧结论的清理远慢于新研究的规范化,这就是为什么"教材滞后"仍是今天读心理学的第一风险。

5. 给读者的操作手册(本页最实用的部分)

看到任何心理学结论,五问:

  1. 样本多大? \(n < 50\) 的组间实验,结论基本当作"值得后续检验的线索";
  2. 预注册了吗?复现过吗? 独立团队复现 > 原团队自我复现 > 从未复现;
  3. 效应量多少? 只报"显著"不报 \(d\)/\(r\) 的,退一步;
  4. 样本是谁? WEIRD 大学生的结论不要直接外推(第 02 页);
  5. 是相关还是实验? 媒体最爱把相关写成因果(第 02 页)。

最后一句:这一页看起来像在拆学科的台,实际相反——能列出这样一份"我们错在哪"的清单,是心理学比很多学科更成熟的证据。经济学、医学、癌症生物学的复现率并不更好,只是没这么系统地公开清算过。判断一门科学是否健康,不看它有没有犯错,看它有没有纠错的机制。

SourcesSPE 的复现状况与批评 · 复现危机综述 · 成长型思维效应量


装备完毕。下一页开始进入内容主体:先从最硬的一层——生物基础。