3. 神经网络基础回顾
在PINN（物理信息神经网络）的参数辨识与物理参数反演任务中，神经网络不仅是函数逼近器，更是承载物理规律的微分方程求解载体。理解神经网络的核心组件——从全连接网络的结构设计、激活函数的非线性注入，到损失函数的物理约束融合，再到优化器（Adam与L-BFGS）的协同策略，以及自动微分（Autograd）的链式法则实现，是构建稳定、高效PINN模型的基石。本节将系统梳理这些基础模块，并重点剖析它们在物理反演场景下的特殊角色与工程实践要点。
上图展示了PINN中神经网络各组件之间的数据流与依赖关系。输入坐标与待辨识物理参数共同进入全连接网络，前向传播得到预测解；自动微分模块基于计算图高效求解输出对各输入的高阶偏导，进而构造PDE残差；损失函数将数据拟合项与物理约束项加权组合；优化器根据损失梯度同时更新网络权重和物理参数。这一闭环流程是后续所有PINN变体与工程应用的核心骨架。
3.1 全连接网络：PINN的函数逼近骨架
核心原理
全连接网络（Fully Connected Network, FCN）通过多层线性变换与非线性激活的复合来逼近任意连续函数。对于PINN中的解函数 u(x,t)，网络可表示为：
u(x,t;θ) = W_n · σ(W_{n-1} · ... σ(W_1 · [x,t] + b_1) ... + b_{n-1}) + b_n其中 θ = {W_i, b_i} 为可训练参数。在物理参数反演任务中，网络输入通常为时空坐标 (x,t)，输出为场变量 u，而待辨识的物理参数 λ（如热扩散系数、弹性模量）则作为额外输入或全局变量参与计算。
网络结构设计要点
- 深度与宽度：PINN通常采用3-6层隐藏层，每层50-100个神经元。过深网络易导致梯度消失，过浅则难以捕捉复杂物理场的非线性特征。
- 输入归一化：将时空坐标归一化到[-1,1]或[0,1]区间，可显著加速收敛并提高精度。
- 输出层设计：对于多物理场耦合问题（如位移+应力），输出层维度对应场变量个数；对于参数辨识，可在网络末端增加一个可学习的参数节点。
案例拆解：热传导参数辨识的网络配置
假设我们要反演一维热传导方程中的热扩散系数 α。初始设计为：输入 (x,t)，输出温度 T(x,t)，α 作为全局可训练变量。训练中发现损失下降缓慢，且 α 收敛到错误值。分析后改为：输入 (x,t,α)，其中 α 在每次迭代中由优化器更新并广播到所有样本点。网络结构为4层×60神经元，tanh激活。改进后，α 在5000次迭代内收敛到真实值附近，相对误差小于2%。
常见误区
- 误区1：网络过宽（>200神经元）导致过拟合，尤其在数据点稀疏时。
- 误区2：忽略输入归一化，导致梯度方向被坐标尺度主导。
- 误区3：将物理参数作为全局变量时，未在损失中增加参数正则项，导致参数漂移。
3.2 激活函数：非线性表达与物理平滑性
核心原理
激活函数为网络注入非线性表达能力。PINN中常用的激活函数包括tanh、sigmoid、ReLU及其变体。由于物理场通常具有高阶光滑性（如弹性力学中的位移场），激活函数的选择直接影响PDE残差的计算质量。
| 激活函数 | 表达式 | PINN适用性 | 注意事项 |
|---|---|---|---|
| tanh | (e^x-e^{-x})/(e^x+e^{-x}) | 高（首选） | 输出范围[-1,1]，梯度平滑，适合二阶以上PDE |
| sigmoid | 1/(1+e^{-x}) | 中 | 输出[0,1]，易饱和，梯度消失风险 |
| ReLU | max(0,x) | 低 | 二阶导数为0，不适合含二阶导数的PDE |
| Swish | x·sigmoid(x) | 中高 | 平滑且非单调，部分场景优于tanh |
判断方法
选择激活函数时，需考虑PDE的最高阶导数。若PDE包含二阶空间导数（如热传导、波动方程），激活函数必须具有连续的二阶导数。ReLU的二阶导数恒为0，会导致PDE残差恒为0，网络无法学习物理规律。此时应选择tanh或Swish。
实战场景：不同激活函数对反演精度的影响
在波动方程参数反演实验中，分别使用tanh和ReLU作为隐藏层激活。结果显示：tanh网络在5000次迭代后参数误差为1.8%，而ReLU网络在相同迭代次数下参数误差高达23%，且损失曲线出现剧烈震荡。进一步分析发现，ReLU导致的PDE残差梯度稀疏化，使得参数更新方向不稳定。
3.3 损失函数：数据拟合与物理约束的加权融合
核心原理
PINN的损失函数由四部分组成：
L_total = w_data · L_data + w_pde · L_pde + w_bc · L_bc + w_ic · L_ic其中 L_data 为观测数据拟合误差（通常为MSE），L_pde 为PDE残差在配点上的均方误差，L_bc 和 L_ic 分别为边界和初始条件误差。权重 w 控制各约束的相对重要性。
权重选择策略
- 固定权重：简单但需人工调参，不同物理问题最优权重差异大。
- 自适应权重：基于梯度范数或不确定性估计动态调整权重（如NTK方法、GradNorm）。
- 逐步增权：先以数据拟合为主，待网络初步逼近后逐步增大PDE权重，避免初期物理约束主导导致收敛困难。
案例拆解：权重策略对参数反演的影响
在固体的弹性参数反演中，初始设置 w_data=1, w_pde=1, w_bc=1。训练发现L_pde下降缓慢，而L_data已接近0。分析认为PDE残差梯度与数据梯度量级不匹配（PDE梯度小两个数量级）。采用GradNorm自适应权重后，w_pde自动调整至约50，参数反演精度从12%提升至3.5%。
3.4 优化器：Adam与L-BFGS的协同策略
核心原理
Adam（Adaptive Moment Estimation）基于一阶梯度，自适应调整学习率，适合处理非平稳目标和非光滑损失面；L-BFGS（Limited-memory Broyden-Fletcher-Goldfarb-Shanno）是一种拟牛顿法，利用二阶曲率信息，收敛速度快、精度高，但对初始点敏感且内存消耗随参数规模增长。
| 特性 | Adam | L-BFGS |
|---|---|---|
| 梯度信息 | 一阶 | 一阶+近似二阶 |
| 收敛速度 | 前期快 | 后期快 |
| 内存占用 | 低 | 中（需存储历史梯度） |
| 对学习率敏感度 | 中等 | 低（无需学习率） |
| 适用阶段 | 初期探索 | 后期精调 |
操作流程：两阶段训练策略
- 阶段一（Adam预热）：使用Adam训练5000-10000次迭代，学习率从1e-3逐步衰减至1e-4。此阶段目标是让网络快速跳出初始区域，建立基本的函数逼近能力。
- 阶段二（L-BFGS精调）：切换至L-BFGS，设置max_iter=1000-2000。利用其超线性收敛特性，将损失降至更低水平，同时提高参数反演精度。
实战场景：优化器切换的实际收益
在Navier-Stokes方程的参数反演中，单独使用Adam训练20000次，参数误差为6.8%；单独使用L-BFGS从随机初始化开始，容易陷入局部最优；采用Adam 8000次+L-BFGS 500次的两阶段策略，参数误差降至1.2%，且总训练时间减少约30%。
3.5 自动微分：PINN的数学引擎
核心原理
自动微分（Automatic Differentiation, AD）通过链式法则精确计算导数，与数值微分（有限差分）和符号微分不同，AD在计算图节点上同时记录前向值和局部导数，反向传播时逐层相乘得到全局梯度。PINN中需要计算输出对输入的高阶偏导（如 ∂²u/∂x²），AD通过重复应用反向传播实现。
# PyTorch示例：计算二阶导数
x = torch.tensor([1.0], requires_grad=True)
u = torch.tanh(x**2)
u_x = torch.autograd.grad(u, x, create_graph=True)[0] # 一阶导
u_xx = torch.autograd.grad(u_x, x, create_graph=True)[0] # 二阶导关键操作要点
- create_graph=True：计算高阶导数时必须设置，否则梯度图被释放。
- retain_graph=True：当需要多次反向传播（如分别计算L_data和L_pde的梯度）时使用。
- 梯度累积：在参数反演中，物理参数λ的梯度来自L_pde项，需确保λ在计算图中被正确追踪。
案例拆解：AD在参数敏感性分析中的应用
在反演地下水流方程中的渗透系数K时，除了得到K的估计值，还需评估其不确定性。利用AD计算 ∂u/∂K，可得到解对参数的敏感性场。通过蒙特卡洛采样K的分布，结合AD计算的梯度，可近似得到预测解的后验方差。这一过程完全基于AD框架，无需额外求解伴随方程。
常见误区与总结
- 误区1：将AD与数值微分混淆，使用有限差分验证梯度时容差设置过松（应<1e-6）。
- 误区2：在循环中重复创建计算图，导致内存泄漏。应使用
torch.no_grad()或detach()隔离不需要梯度的部分。 - 误区3：忽略AD的数值精度问题。当输入坐标接近0或权重过大时，tanh可能饱和，导致梯度消失。建议监控激活值的分布，必要时调整网络初始化。