3. 神经网络基础回顾

多尺度物理问题往往同时包含连续场、局部界面、时间演化和非规则几何，单一网络结构很难覆盖全部特征。因此在进入多尺度建模之前，需要把四类基础网络的结构直觉、适用场景与训练要点重新梳理清楚，并明确损失函数、优化算法、正则化与泛化评估之间的配合关系。本节按“结构—训练—评估”的顺序展开，重点放在实际建模时如何选型与调参。

四类网络的结构与物理对应

前馈网络（MLP）是最基础的映射器，由若干全连接层堆叠而成，第 l 层计算为 h_l = σ(W_l h_{l-1} + b_l)。它适合输入维度固定、映射关系光滑的场景，例如用少量宏观参数预测等效本构系数。缺点是参数量随宽度平方增长，且对网格、图像类输入不具平移等变性。

卷积网络（CNN）通过局部感受野与权值共享提取空间特征，卷积核在网格上滑动，天然适配规则网格上的场量预测，如温度场、应力场的超分辨率重建。其关键超参数是核大小、通道数与下采样倍数；对非均匀网格需先重采样或改用图结构。

循环网络（RNN/LSTM）沿时间步展开隐藏状态 h_t = f(h_{t-1}, x_t)，适合时序演化问题，如瞬态传热、流场时间推进。标准 RNN 存在梯度消失，实践中多用 LSTM 或 GRU 的门控结构；对长序列还可考虑截断沿时间反向传播（BPTT）以控制显存。

图网络（GNN）把计算定义在节点与边上，通过消息传递 m_v = Σ φ(h_u, h_v, e_uv) 聚合邻居信息，适合非规则网格、颗粒堆积、分子与多物理场耦合拓扑。它不依赖固定邻接顺序，能直接处理变分辨率与变连接关系，是多尺度耦合建模的重要工具。

损失函数与优化算法

物理建模中损失函数通常由数据项与物理约束项组成。以回归场量为例，数据项取均方误差 L_data = (1/N)Σ‖ŷ_i − y_i‖²；若已知控制方程，可加入残差项 L_phys = (1/M)Σ‖N[û](x_j)‖²，其中 N 为微分算子。两项通过权重 λ 平衡：L = L_data + λ·L_phys。λ 过大会使网络偏向满足方程而偏离观测，过小则物理约束失效，实践中常从 1e-3 量级起步，按验证集上两项量级比例调整。

优化算法方面，Adam 因自适应学习率成为默认选择，典型配置为学习率 1e-3、β₁=0.9、β₂=0.999；当训练后期损失震荡时，切换到 L-BFGS 或对 Adam 做余弦退火往往能进一步收敛。批大小影响梯度噪声：小批量（如 32）泛化更好但训练慢，大批量需配合学习率线性缩放。训练中应监控训练损失与验证损失的分叉点，它是过拟合的早期信号。

正则化与泛化能力评估

正则化手段需与网络类型匹配：权重衰减（L2）抑制参数幅值；Dropout 在全连接层有效，但卷积层中需谨慎使用；早停法以验证损失不再下降为触发条件，是最廉价的正则化。对物理问题还可引入物理一致性正则，例如要求预测场满足边界条件或在对称变换下保持不变，这比单纯增加数据更有效。

泛化评估不能只看单一测试集。建议划分训练/验证/测试三部分，并额外构造分布外测试集：改变雷诺数、几何尺寸或网格分辨率，观察误差是否可控。评估指标除相对误差外，应关注最坏情况误差与物理量守恒性（如质量、能量残差）。若分布外误差显著上升，说明模型记忆了训练分布，需要增加数据多样性或加强物理约束。

把上述要点落到一次具体训练中：以二维稳态热传导为例，输入为边界温度与材料分布，输出为温度场。可先用 CNN 在 128×128 网格上训练，损失取数据项加 λ=1e-3 的拉普拉斯残差项，Adam 学习率 1e-3、批大小 64、训练 200 轮并启用早停（耐心 20 轮）。若验证集相对误差在 3% 左右而分布外（改变热导率对比度）误差升至 10% 以上，则应扩充材料分布样本或提高物理项权重，而不是继续增加网络宽度。这样的闭环判断，才是结构选型与训练策略真正落地的标志。