4. 神经网络作为函数逼近器
在PINN中，神经网络并不是用来做分类或预测标签的，它承担的是一个更纯粹的数学角色：逼近未知解函数 u(x,t)。理解这个角色，需要把注意力从“网络能识别什么”转到“网络能表示什么样的函数”上。本节围绕全连接网络的结构、激活函数的作用、万能逼近定理的含义以及逼近误差的来源展开，为后续把PDE残差写进损失函数打下基础。
一、全连接网络在PINN中表示什么
PINN通常采用多层全连接网络（MLP）。以求解一维热方程 u_t = α u_xx 为例，输入是坐标 (x, t)，输出是温度 u。一个典型结构是：输入层2个神经元，隐藏层3层、每层32个神经元，输出层1个神经元。写成函数形式就是
u_θ(x, t) = W₃ · σ(W₂ · σ(W₁ · σ(W₀ · [x, t]ᵀ + b₀) + b₁) + b₂) + b₃其中 θ = {W₀…W₃, b₀…b₃} 是全部可训练参数，σ 是逐元素激活函数。这个复合函数对输入 (x,t) 是连续且可微的，这一点至关重要：PINN的损失函数里会出现 u_t、u_x、u_xx，只有网络对输入可微，才能用自动微分直接求出这些导数，而不需要网格差分。
需要强调的是，网络输出的物理量纲由问题决定。若温度范围在 0～100，而网络输出未做缩放，初始阶段输出往往集中在 0 附近，梯度信号很弱。常见做法是对输入做归一化（把 x、t 映射到 [-1,1]），对输出做尺度变换，或在损失中对不同项加权。这些都属于“让逼近器工作在合适数值范围”的工程手段。
二、激活函数的选择
激活函数决定了网络能拼出什么样的函数形状。PINN中常见的选择有三类：
- tanh：光滑、有界、导数连续，二阶导数也存在且行为良好，非常适合需要 u_xx 的方程。它是PINN文献中最常用的默认选择。
- sin（正弦激活）：即SIREN类结构，对高频、多尺度解表现更好，但需要配合特定的初始化（如权重按 fan-in 缩放），否则训练不稳定。
- ReLU：分段线性，二阶导数为零（几乎处处），对需要二阶导的PDE残差极为不利，通常不推荐用于PINN主体。
直观理解：tanh 的曲线在原点附近近似线性、两端饱和，多个 tanh 加权叠加可以拼出平滑的隆起、斜坡和振荡；而 ReLU 拼出的是折线，二阶信息丢失。若方程是一阶的（如 Burgers 方程的一阶形式改写），ReLU 尚可一试，但涉及二阶空间导数的情形应优先选 tanh 或 sin。
三、万能逼近定理说明了什么、没说明什么
万能逼近定理（Universal Approximation Theorem）指出：对于紧集上的任意连续函数 f 和任意 ε>0，存在一个足够宽的单隐藏层网络，使得网络输出与 f 的误差在 sup 范数下小于 ε。这为“用网络表示PDE解”提供了理论底气。
但它有三个容易被误读的地方。第一，定理只保证存在性，不告诉我们需要多少神经元，也不保证梯度下降能找到那组参数。第二，它针对的是单隐藏层、任意宽的结构，而实践中我们用的是有限宽度、有限深度的网络，深度带来的是表达效率而非理论上的新能力。第三，定理不涉及泛化与物理约束——网络能拟合训练点，不代表它满足PDE。PINN的真正约束来自损失函数中的残差项，而不是逼近定理本身。
四、逼近误差从哪里来
把网络当作逼近器，误差可以拆成几块来看，这比笼统地说“模型不准”更有指导意义。
表示误差：给定宽度和深度，网络能表示的函数族是有限的。若真实解含尖锐梯度或高频振荡，而网络只有3层32宽，表示误差本身就下不去。此时增加层数或宽度、或改用 sin 激活，比调学习率更有效。
采样误差：PINN在配点上计算残差，配点分布决定了约束落在哪里。若在梯度剧烈区域配点过稀，残差项在该处几乎不起作用，网络会“偷懒”给出平滑但错误的解。实践中可在残差较大的区域自适应加密配点。
优化误差：损失函数是非凸的，Adam 可能停在局部极小或平台区。表现为损失下降缓慢、残差量级长期在 1e-2 附近徘徊。此时可尝试学习率衰减、改用 LBFGS 精调、或调整损失权重。
权重失衡误差：PINN损失通常由残差项、初值项、边值项相加。若残差项量级远大于边值项，网络会优先满足方程而忽略边界，解在边界附近明显偏离。常见做法是先看各项损失的量级，再按比例加权，而不是一开始就固定权重。
五、一个可操作的起步配置
对多数入门级一维问题，可以采用如下配置作为起点：输入归一化到 [-1,1]；隐藏层 3～4 层、每层 32～64 个神经元；激活函数 tanh；权重用 Xavier 初始化；优化器先用 Adam（学习率 1e-3）训练数千步，再用 LBFGS 收尾；配点先在区域内均匀取 1000～2000 个，训练中观察残差分布再加密。
判断逼近是否可用的依据不是“损失降到了多少”，而是：残差在区域内是否均匀小、边界与初值条件是否被满足、以及与解析解或高精度数值解对比的相对误差是否在可接受范围。只有这三者同时成立，才能说网络确实逼近了目标函数，而不是仅仅拟合了训练点。