3. 模型参数估计的数学基础
参数估计表面上是在“调参数”，实质上是在三个数学分支的交汇处做决策：概率统计回答“什么样的参数更可信”，优化理论回答“怎样系统地找到它”，线性代数回答“怎样高效、稳定地算出来”。三者不是并列的知识点，而是一条从数据到参数的完整链条。理解这条链条，才能在实验数据有噪声、模型非线性、计算资源有限时，判断该换模型、换算法还是换数据。
概率统计：把“拟合得好”变成可比较的准则
实验数据总带有随机误差。设观测为 y_i = f(x_i; θ) + ε_i，其中 θ 是待估参数，ε_i 是误差项。概率统计的第一件事，是给误差一个分布假设，从而把“残差小”升级为“似然大”。若假设 ε_i ~ N(0, σ²) 且相互独立，则对数似然为
ln L(θ) = -n/2·ln(2πσ²) - 1/(2σ²)·Σ(y_i - f(x_i; θ))²最大化似然等价于最小化残差平方和，这就是最小二乘的概率来源。这个推导的价值在于：它明确了最小二乘的适用前提——误差独立、同方差、零均值。若实验存在系统偏差（零均值不成立），或不同测量点精度差异明显（异方差），直接套用普通最小二乘会得到有偏或低效的估计，此时应改用加权最小二乘，权重取 1/σ_i²。
第二个关键概念是估计量的性质。无偏性说明多次重复实验的估计均值等于真值；有效性说明在无偏估计中方差最小；一致性说明样本量增大时估计收敛到真值。实际实验中样本量往往有限，因此更应关注参数的不确定度。在线性最小二乘下，参数协方差为 Cov(θ̂) = σ²(JᵀJ)⁻¹，其中 J 是模型对参数的雅可比矩阵。对角元开方即参数标准误，可直接用于判断某个参数是否“显著”——若估计值与其标准误之比过小，说明该参数在当前实验条件下不可辨识，继续优化只会得到虚假的精确感。
优化理论：目标函数、约束与收敛判据
参数估计最终化为一个优化问题：min_θ S(θ)，S(θ) 为残差平方和或负对数似然。优化理论提供的第一个判断是凸性。线性模型的最小二乘是凸二次问题，有唯一全局最优解，可用正规方程 θ̂ = (JᵀJ)⁻¹Jᵀy 直接求解。非线性模型（如指数衰减、Michaelis-Menten）的 S(θ) 通常非凸，存在局部极小，此时初值选择和算法策略决定成败。
第二个判断是一阶与二阶条件。最优点处梯度为零：∇S(θ̂) = 0；二阶条件要求 Hessian 矩阵半正定。实际计算中，梯度范数 ‖∇S‖ 是常用的收敛判据，配合参数步长 ‖Δθ‖ 和目标函数相对变化量共同判断。仅看目标函数下降容易误判——在平坦谷底，函数值几乎不变但参数仍在漂移。
第三个判断是算法选择。高斯-牛顿法利用残差的一阶展开，迭代式为 θ_{k+1} = θ_k + (JᵀJ)⁻¹Jᵀr，收敛快但在 JᵀJ 病态时不稳定；Levenberg-Marquardt 引入阻尼项 (JᵀJ + λI)，在 λ 大时退化为梯度下降、λ 小时接近高斯-牛顿，是实验数据拟合的常用默认选择。有界约束（如速率常数必须为正）则需投影或信赖域方法，不能简单截断参数了事。
线性代数：数值稳定的真正来源
正规方程在数学上正确，在数值上却可能危险。条件数 κ(JᵀJ) = κ(J)²，当 J 的列近似共线时，JᵀJ 的条件数被平方放大，求逆误差急剧增加。这正是“参数不可辨识”在数值层面的表现：两个参数同时增大或减小都能拟合数据，J 的列几乎线性相关。
工程上的标准做法是QR 分解或奇异值分解（SVD），而不是显式构造 JᵀJ。对 J = QR，最小二乘解通过回代 Rθ = Qᵀy 得到，条件数只被放大一次。SVD 给出 J = UΣVᵀ，奇异值 σ_i 直接反映各参数方向的敏感度；当某个 σ_i 接近零时，对应右奇异向量指示了不可辨识的参数组合。实践中可据此做参数约简或重新设计实验点。
三者的协同：一个可执行的估计流程
把上述内容串起来，一次规范的参数估计应包含：依据误差结构选择目标函数（概率统计）；检查模型线性与否、参数是否有界，选择求解策略（优化理论）；用 QR/SVD 求解并检查条件数与奇异值（线性代数）；最后由协方差矩阵给出标准误和置信区间，判断参数是否显著、模型是否可辨识。下面这张图展示了三者在一次估计任务中的分工与数据流向。
一个教学示例：指数衰减的参数估计
设某物理实验的响应为 y = A·exp(-k·t) + b，参数为 A、k、b。假设在 t = 0,1,…,9 共 10 个时刻测得数据（此处为教学构造的示例数据，非实测结果），误差近似独立同分布。此时模型对参数非线性，S(θ) 非凸，需用 LM 迭代。雅可比矩阵的每一行为 [exp(-k·t_i), -A·t_i·exp(-k·t_i), 1]。若 k 的初值取得过小，A 与 b 在早期时刻高度相关，J 的列接近共线，SVD 会显示一个很小的奇异值，表现为 A 和 b 的标准误都很大。此时正确做法不是继续迭代，而是延长观测时间或增加早期采样点，让衰减项与基线项在数据中分离。
这个例子说明：参数估计的困难往往不在算法本身，而在于实验设计是否提供了足够的信息。概率统计告诉你信息不足的表现（大方差、宽置信区间），线性代数告诉你信息不足的方向（小奇异值对应的参数组合），优化理论则提醒你不要把局部极小或病态解误当作最终答案。三者合起来，才构成对一次参数估计结果的可信判断。