4. 数据采集与预处理：信号采集、噪声来源、基线校正、平滑滤波、去卷积等预处理方法
生物光学检测（如荧光显微成像、拉曼光谱、近红外光谱、光声成像等）的原始数据中，除了目标生物信号外，还混杂着来自硬件电子噪声、光学散射、样本自体荧光、环境杂散光等多种干扰。若不经预处理直接进行定量分析或模式识别，往往会导致特征提取失真、模型泛化能力下降。本章围绕“信号采集—噪声识别—基线校正—平滑滤波—去卷积”这一标准链路，系统讲解各环节的原理、操作路径与工程化注意事项，帮助学习者建立一套可复用的数据清洗方法论。
上图展示了生物光学数据预处理的标准工程链路。需要强调的是，这五个环节并非机械串联，而是存在参数反馈与迭代优化关系。例如，基线校正的效果直接影响平滑滤波的窗口选择，而去卷积的迭代次数又依赖于噪声水平评估。在实际项目中，通常需要先对原始数据做快速浏览，初步判断噪声类型和基线漂移程度，再决定各环节的具体算法与参数。
4.1 信号采集：从物理世界到数字量的关键映射
核心原理：信号采集是将光信号转换为电信号并量化为数字值的全过程。在生物光学检测中，常见探测器包括光电倍增管（PMT）、科学级CMOS（sCMOS）、EMCCD、InGaAs阵列等。采集过程涉及三个关键参数：采样率（时间分辨率）、动态范围（位深，如12bit、16bit）和积分时间（曝光时间）。采样定理要求采样率至少为信号最高频率分量的两倍，但生物光学信号往往具有宽频带特征，实际工程中通常取5-10倍过采样以留出滤波余量。
操作流程：
- 探测器选型：根据波长范围、灵敏度、噪声等级选择合适探测器。例如，拉曼光谱常用深耗尽CCD以降低暗电流；荧光寿命成像则需要时间分辨能力强的PMT或SPAD。
- 参数设置：设定积分时间、增益、像素合并（binning）模式。增益不宜过高，否则会放大读出噪声；binning可提升信噪比但会牺牲空间分辨率。
- 暗场与亮场采集：分别采集暗场（遮挡光源）和亮场（标准光源）数据，用于后续扣除暗电流和响应非均匀性。
- 数据格式确认：检查位深、字节序、元数据完整性，避免后续解析错误。
4.2 噪声来源：识别与量化
核心原理：生物光学检测中的噪声主要分为三类：散粒噪声（光子到达的随机性，服从泊松分布，其标准差等于信号强度的平方根）、热噪声（探测器暗电流的随机涨落，与温度直接相关）、读出噪声（模数转换过程中引入的电子噪声，与读出速率相关）。此外还有固定模式噪声（像素间响应不一致）和量化噪声（ADC分辨率限制）。理解噪声来源是选择预处理算法的前提——例如，散粒噪声无法通过平滑完全消除，只能通过增加积分时间或多次平均来抑制。
判断方法：
- 暗场分析：采集多帧暗场数据，计算像素均值和标准差。若标准差随积分时间线性增加，说明热噪声主导；若基本不变，则读出噪声主导。
- 信号-噪声曲线：对均匀光源采集不同强度下的数据，绘制log(信号) vs log(噪声)曲线。斜率为0.5时表明散粒噪声主导，斜率为0时表明读出噪声主导。
- 功率谱密度：对时间序列数据做FFT，白噪声表现为平坦谱，而1/f噪声在低频段上升。
| 噪声类型 | 来源 | 统计特性 | 抑制策略 |
|---|---|---|---|
| 散粒噪声 | 光子随机到达 | 泊松分布，σ=√S | 增加积分时间、多次平均 |
| 热噪声 | 暗电流 | 高斯近似，与温度相关 | 制冷探测器、暗场扣除 |
| 读出噪声 | ADC转换 | 高斯分布，与速率相关 | 降低读出速率、相关双采样 |
| 固定模式噪声 | 像素响应差异 | 空间固定 | 平场校正 |
4.3 基线校正：消除背景漂移与荧光干扰
核心原理：基线校正是从原始光谱或图像中去除缓慢变化的背景信号。在拉曼光谱中，样本自体荧光会产生宽大的背景峰；在近红外光谱中，散射效应导致基线倾斜。常用的基线校正方法包括：多项式拟合（通过迭代加权最小二乘拟合低阶多项式）、SNIP算法（基于峰谷检测的迭代剥峰法）、airPLS（自适应迭代重加权惩罚最小二乘）。选择依据是基线形态的复杂度和计算资源限制。
操作流程：
- 初步观察：绘制原始光谱，标记峰区域和纯基线区域。
- 参数初始化：对于多项式拟合，阶数通常设为1-3阶；对于airPLS，需设定平滑参数λ（一般10^4~10^6）和迭代次数。
- 迭代优化：运行算法后，检查校正后的基线是否平坦，峰形是否保持完整。若峰被过度扣除，说明λ过小或阶数过高。
- 验证：对校正后的数据重新计算信噪比，确保目标峰强度未明显衰减。
4.4 平滑滤波：在去噪与保真之间平衡
核心原理：平滑滤波利用信号与噪声在频率域或空间域的分布差异来抑制噪声。最常用的方法是Savitzky-Golay（SG）滤波，它通过在滑动窗口内进行局部多项式最小二乘拟合，在去噪的同时保留峰的形状和宽度。移动平均滤波简单但会展宽峰形；小波去噪则适用于非平稳信号，但需要选择合适的小波基和阈值规则。
判断方法：
- 窗口宽度：SG滤波的窗口宽度应小于最窄峰的半高宽（FWHM）的1/3，否则会过度平滑。
- 多项式阶数：阶数越高，保真度越好，但去噪能力下降。一般2-3阶即可。
- 信噪比评估：计算滤波前后的信噪比（峰高/噪声标准差），若提升小于20%，说明窗口设置不合理。
# Python示例：SG滤波参数选择
from scipy.signal import savgol_filter
import numpy as np
# 假设spectrum为原始光谱，峰宽约20个点
window = 15 # 小于峰宽，取奇数
order = 3 # 多项式阶数
filtered = savgol_filter(spectrum, window_length=window, polyorder=order)
4.5 去卷积：恢复被仪器展宽的真实信号
核心原理：任何光学检测系统都存在有限的仪器响应函数（IRF），导致实测信号是真实信号与IRF的卷积结果。去卷积旨在从实测信号中恢复真实信号。经典算法包括Richardson-Lucy（RL）迭代算法（基于泊松噪声模型，适用于荧光寿命和图像去模糊）、Wiener滤波（最小均方误差准则，适用于高斯噪声）和正则化约束方法（如Tikhonov正则化，防止噪声放大）。
操作流程：
- IRF获取：通过测量散射介质（如瑞利散射）或荧光珠获得系统IRF。
- 算法选择：若噪声为泊松型（光子计数），选RL；若为高斯型，选Wiener。
- 迭代控制：RL算法需设定迭代次数（通常10-50次），过多会导致噪声放大。可观察每次迭代后的残差变化，当残差不再显著下降时停止。
- 结果验证：将去卷积结果与IRF重新卷积，应与实测信号高度一致。
背景：某实验室使用785nm激发光采集生物组织拉曼光谱，原始光谱存在强烈荧光背景和明显噪声。
初始现象：光谱基线漂移严重，目标峰（如1001cm⁻¹苯丙氨酸峰）被荧光背景掩盖，信噪比仅约5。
关键参数：光谱范围400-1800cm⁻¹，积分时间10s，激光功率50mW。
分析过程：首先通过暗场扣除消除热噪声；然后使用airPLS（λ=10^5）进行基线校正，荧光背景被有效扣除；接着采用SG滤波（窗口11点，3阶）平滑残余高频噪声；最后使用RL去卷积（15次迭代）恢复被仪器展宽的峰形。
结果对比：预处理后信噪比提升至35，峰位置偏移小于0.5cm⁻¹，峰面积重复性（RSD）从12%降至3%。
复盘经验：基线校正参数λ需根据荧光强度调整，过小会残留背景，过大会扣除真实峰；去卷积迭代次数需通过残差监控确定，避免过度锐化。
4.6 常见误区与总结复盘
常见误区：
- 误区一：先平滑后基线校正。平滑会改变基线形态，导致后续校正不准确。正确顺序应为：暗场扣除→基线校正→平滑→去卷积。
- 误区二：过度平滑。为了追求高信噪比而使用过宽窗口，导致峰形畸变、分辨率下降。应始终以最窄峰的FWHM为参考。
- 误区三：忽略固定模式噪声。在定量分析中，未做平场校正会导致空间不均匀性误差。
- 误区四：去卷积盲目迭代。迭代次数过多会产生伪峰，需结合残差分析或贝叶斯信息准则确定最优迭代数。
总结复盘：数据预处理的核心目标是“在保留真实信号特征的前提下，最大限度抑制干扰”。建议建立标准化的预处理流程文档，记录每个环节的算法、参数和验证指标。对于关键实验，应保留原始数据，以便在预处理参数调整后重新处理。此外，预处理效果需通过下游分析（如主成分分析、定量回归）的稳定性来最终验证——如果预处理后模型性能反而下降，应回溯检查每个环节的合理性。