3. 残差的基本概念与性质
在最小二乘反演中，我们通过求解参数使预测数据尽可能接近观测数据。但“尽可能接近”究竟接近到什么程度、偏差分布在哪里、偏差是否携带了模型设定错误的信息，这些问题的答案都藏在残差里。残差不是拟合完成后的附属产物，而是连接“数据”与“模型”的桥梁，是判断反演结果可信度的第一手证据。
残差的定义与符号约定
设观测数据向量为 d（长度 N），反演得到的模型参数为 m，正演算子为 G(m)，则预测数据（拟合值）为 d_pre = G(m)。残差向量定义为：
r = d - G(m) （观测减预测，常用约定）
r_i = d_i - d_pre_i, i = 1, 2, ..., N这里必须强调符号约定：本课程统一采用观测值减预测值。若某次计算中改用预测减观测，则残差整体变号，虽然平方和不变，但残差图的正负含义会完全颠倒。因此在阅读残差图、判断“正偏”或“负偏”之前，先确认符号约定，全文与图示保持一致。
最小二乘的目标函数正是残差的平方和：Φ(m) = rᵀr = Σ r_i²。反演过程本质上是在参数空间中寻找使 rᵀr 最小的 m。这也解释了为什么残差是反演的内生量——优化器每一步都在和它打交道。
残差、观测值与拟合值三者关系
三者满足恒等关系 d = d_pre + r，即观测数据可分解为“模型能解释的部分”与“模型未能解释的部分”。这个分解看似简单，却决定了诊断的方向：
- 拟合值由模型结构和参数共同决定，是模型对数据的“主张”；
- 残差是数据对模型的“反驳”，是模型主张之外剩余的信息；
- 观测值是二者之和，是唯一可直接测量的量。
需要注意，残差与拟合值在最小二乘解下满足正交性：Gᵀr = 0（对线性问题 d_pre = Gm 时成立）。这意味着残差中不再含有能被模型空间解释的成分，任何残差结构都指向模型空间之外的因素——噪声、非线性、模型简化或离群点。正交性是残差诊断的理论基石。
Gᵀr = 0 只说明残差与模型空间正交，并不说明残差是纯随机噪声。残差仍可能含有与模型空间无关的系统性结构，例如随空间位置渐变、随观测序号周期振荡，这些正是诊断要捕捉的对象。残差在模型诊断中的核心作用
残差之所以是诊断的核心，是因为它把“拟合得好不好”这一模糊判断转化为可观察的分布特征。理想情况下，若模型正确、噪声为零均值独立同分布，则残差应表现为无结构的随机散布。一旦残差出现可辨认的模式，就说明有某个假设被违反。常见的判读逻辑如下：
| 残差表现 | 可能原因 | 处理方向 |
|---|---|---|
| 整体均值明显偏离 0 | 存在系统偏差、观测基准错误 | 检查标定、加入偏置项 |
| 随拟合值呈喇叭形扩散 | 噪声方差非均匀（异方差） | 加权最小二乘、方差稳定变换 |
| 随空间/时间呈平滑趋势 | 模型缺少低频成分或趋势项 | 扩展模型、增加参数 |
| 个别点残差远大于其余 | 离群点或数据录入错误 | 核查原始数据、稳健估计 |
| 残差呈周期性振荡 | 模型遗漏周期项或正演近似误差 | 补充物理项、细化网格 |
下面这张图把残差的生成链路与诊断分支放在一起，帮助建立“从残差到判断”的整体视图：
一个可操作的残差诊断示例
假设某次重力观测反演中，N = 40 个测点，反演得到 3 个密度参数。计算完成后得到残差向量，先做三件事：
- 算均值与标准差：若均值约为 0.8 mGal 而标准差为 0.3 mGal，说明残差整体正偏，可能存在观测基准或区域场未扣除的问题，而非随机噪声。
- 画残差—拟合值散点图：横轴
d_pre、纵轴r。若散点随d_pre增大而扩散变宽，提示异方差，应改用加权最小二乘，权重取观测方差的倒数。 - 画残差—测点序号图：若残差沿测线呈缓慢起伏，说明模型缺少区域趋势项，可增加一个线性或二次背景参数重新反演。
这三步不需要复杂工具，却能覆盖大部分常见问题。关键在于：不要只看残差平方和一个数字。平方和相同的一组残差，可能是纯随机散布，也可能是“一半正偏、一半负偏”的系统误差，二者对模型的含义截然不同。残差图的价值正在于把这一数字还原为结构。
总结来说，残差向量是观测与预测之差，满足 d = d_pre + r 的分解关系，并在最小二乘解下与模型空间正交。它既是优化目标函数的构成要素，也是模型诊断的入口：均值看系统偏差，方差看噪声结构，趋势看模型缺失项，孤立点看数据质量。掌握这四条判读线索，就能把残差从“算完就丢的中间量”变成反演质量控制的可靠依据。