探测 II · 图像传感器
层次：本科接触 + 业界巨大产业 ｜ 🔗 与微电子站的工艺与封装直接相关。 图像传感器是产量最大的光电器件——每年数十亿颗。它把上一页的单点探测扩展成阵列，其设计是噪声、速度、面积、成本、功耗多重约束下的精密权衡。本页讲清它的结构演进与关键指标。
一、CCD 与 CMOS：一场已经分出胜负的竞争
CCD：电荷在势阱间逐级转移到唯一的输出放大器。
- 优点：填充因子高、噪声一致性极好（只有一个放大器）；
- 缺点：读出慢（串行）、功耗高、需要特殊工艺、无法集成逻辑。
CMOS（APS，有源像素）：每个像素自带放大器，可随机寻址。
- 优点：读出快（可并行、可开窗）、功耗低、可与逻辑单片集成（片上 ADC、ISP、甚至 AI 加速器）、用标准 CMOS 工艺 → 成本大幅下降；
- 早期缺点：每像素有放大器 → 填充因子低、放大器失配造成固定图案噪声（FPN）。
CMOS 如何胜出（这是一条典型的技术演进路线）：
- 微透镜阵列补回填充因子；
- 相关双采样（CDS）消除复位噪声与部分 FPN；
- 背照式（BSI）：从背面入光，避开正面金属布线的遮挡 → 量子效率大幅提升；
- 堆叠式（stacked）：传感器层与逻辑层分开制造再键合（🔗 微电子站第十五页的混合键合），各自用最优工艺 → 高速读出 + 复杂片上处理。
结论：CMOS 已在绝大多数领域取代 CCD。CCD 仅在少数极高一致性要求的科学与天文场合保留。这是"可集成性最终战胜单项性能"的经典案例——与 🔗 微电子站反复出现的主题一致。
二、关键指标与权衡
| 指标 | 含义 | 主要权衡 |
|---|---|---|
| 像素尺寸 | 决定分辨率与感光面积 | 小像素 → 高分辨率但每像素光子少（SNR 差）、且趋近衍射极限 |
| 满阱容量 | 最大可存电子数 | 与像素面积正相关 → 决定动态范围 |
| 量子效率 | 光子→电子转换率 | BSI 显著提升 |
| 读出噪声 | 电子数 rms | 决定暗光性能；现代可低至 1 e⁻ 以下 |
| 动态范围 | 满阱/读噪 | HDR 技术可扩展 |
| 帧率 | — | 与读出架构、ADC 并行度相关 |
"像素越多越好"是一个需要澄清的误解（这是本页最实用的判断）：
- 传感器尺寸固定时，像素数翻倍 → 每像素面积减半 → 收集光子减半 → SNR 降约 \(\sqrt2\) 倍；
- 当像素尺寸小到接近艾里斑（第四页，可见光下 F/2.8 时约 3.8 μm 量级），再增加像素数不再带来真实分辨率——光学已经成为瓶颈；
- 所以手机厂商用"像素合并（binning）"：高像素模式用于强光，暗光下把 4 个或 9 个像素合并当一个大像素用，换取 SNR。这本质上是在承认"像素数与信噪比不可兼得"。
三、彩色与滤光
Bayer 阵列：RGGB 排列（绿色像素占一半，因人眼对绿最敏感），再由去马赛克（demosaicing）算法插值出全彩图像。
代价：
- 每个像素只测一种颜色 → 空间分辨率有损失，且可能产生摩尔纹与伪色；
- 滤光片吸收约 2/3 的光 → 感光度下降。
替代方案：
- 三片式分光棱镜（专业摄像机）：无损失但体积大、成本高；
- RYYB / RGBW：用黄色或白色像素换取进光量，代价是色彩还原变难；
- 量子点/有机滤光、堆叠式垂直分光（不同深度吸收不同波长）。
红外截止滤光片：硅对近红外敏感而人眼不敏感 → 必须滤除，否则色彩失真。而这正是为什么改装去掉该滤片的相机可以拍红外。
四、几种重要的传感器类型
- 全局快门 vs 卷帘快门：
- 卷帘（rolling）：逐行曝光读出，高速运动物体会变形（果冻效应）、闪光灯同步受限。但像素结构简单、成本低；
- 全局（global）：所有像素同时曝光，需每像素额外的存储节点 → 面积与噪声代价。工业检测、机器视觉必需；
- SPAD 阵列：单光子探测阵列，用于 dToF LiDAR（第十七页）与超低光成像；
- 事件相机（DVS）：每个像素独立地只在亮度变化时输出事件，无帧的概念。
- 优势：微秒级时间分辨、极高动态范围、低数据量与低功耗；
- 用于高速运动跟踪、机器人（🔗 自动化站）。它代表了一种与传统成像完全不同的范式——把"采样"从固定帧率变成事件驱动，与神经形态计算同源；
- 红外焦平面阵列：制冷型（InSb/HgCdTe，性能好、贵）与非制冷型（微测辐射热计，便宜、普及）。
五、ISP：图像信号处理
原始数据（RAW）远不是照片。ISP 流水线通常包括：
黑电平校正 → 坏点修正 → 去噪 → 去马赛克 → 白平衡 → 色彩校正矩阵 → 伽马 → 锐化 → 色调映射 → 压缩
关键认识：现代手机照片的画质，很大程度上由算法而非光学决定。
- 多帧合成（HDR、夜景）：连续拍多张对齐叠加 → 本质上是增加总光子数（承第九页：提高 SNR 的根本办法就是收集更多光子）；
- 算法能做的与不能做的：能降噪、能扩展动态范围、能校正畸变与色差（第二页）；但不能创造根本没有进入系统的高频信息（第四页）。"AI 放大补细节"是在按先验猜测，而非恢复——判读这类宣称时要清楚区别。
这也是"计算摄影"的分界线（第十一页展开）。
六、与微电子站的接续
图像传感器是光电与微电子结合最紧密的产品之一：
- 像素电路是模拟设计（🔗 微电子站第八页：噪声、失配、\(g_m/I_D\) 全部适用）；
- 列并行 ADC 是大规模数据转换器设计（第九页）；
- BSI 与堆叠依赖先进封装与混合键合（第十五页）；
- 片上 AI 加速器（第十七页）正在进入传感器，实现"近传感器计算"——减少数据搬运（存储墙的同一逻辑）。
七、要点
- CMOS 靠可集成性战胜 CCD，BSI 与堆叠是关键突破；
- 像素小到接近艾里斑后，增加像素数不再提升真实分辨率；binning 是承认 SNR 与像素数的权衡；
- Bayer 阵列以光量与分辨率换取彩色；
- 卷帘快门造成运动变形，全局快门以面积换取同步曝光；
- 事件相机是与帧成像完全不同的范式；
- 多帧合成的本质是增加光子数；算法不能创造未进入系统的信息。
下一页：如何客观评价一个成像系统的好坏？MTF 给出了答案，而计算成像则模糊了"光学"与"算法"的边界。