4. 神经算子核心思想与统一视角

传统神经网络与神经算子最本质的差异，不在于层数多少或参数量大小，而在于它们所学习的映射对象不同。一个普通全连接网络或卷积网络，学习的是从有限维向量到有限维向量的映射，例如把一张 224×224 的图像映射为 1000 维类别概率，或把一组输入特征映射为一个标量。它的输入维度在训练前就被固定，一旦训练完成，网络只能处理与训练时相同尺寸、相同离散网格的输入。神经算子则不同，它学习的是函数到函数的映射，即算子。输入是一个函数（例如某条边界条件下的初始温度场），输出也是一个函数（例如该温度场随时间的演化结果）。函数可以被采样在不同分辨率的网格上，而算子本身应当与离散化方式无关。

这一区别带来一个关键要求：离散不变性。假设我们训练一个算子去求解一维热传导方程，训练时用 64 个空间网格点采样初始温度分布，那么当推理时改用 128 个或 256 个网格点采样同一个初始条件，神经算子应当给出与网格加密后真实解一致的输出，而不是要求输入必须重新插值回 64 点。传统 CNN 做不到这一点，因为它的卷积核尺寸和感受野与网格间距绑定，网格一变，物理尺度就变了。神经算子的设计目标，正是让学到的映射在函数空间层面成立，而非在某个特定离散网格上成立。

积分核方法：在物理空间直接学核

积分核方法把算子写成 u(x) = ∫ κ(x, y) a(y) dy 的形式，其中核函数 κ(x, y) 刻画了位置 y 处的输入对位置 x 处输出的影响强度。在经典物理中，格林函数正是这样的核：热传导、波动方程的解都可以写成初始条件与格林函数的积分。神经算子（如 DeepONet 的 Branch/Trunk 结构、图神经算子等）用神经网络参数化这个核，让网络从数据中学习“哪些位置的输入会影响哪些位置的输出、影响多大”。

实际实现时，积分通常被离散为对采样点的加权求和。以 DeepONet 为例，它把核分解为两组基函数的乘积：Branch 网络把输入函数 a 编码为一组系数，Trunk 网络把查询坐标 x 编码为另一组基，两者做内积得到输出。这样做的直接好处是：Branch 网络只关心输入函数的采样值，Trunk 网络只关心查询位置，二者解耦后，同一个训练好的模型可以在任意查询坐标上求值，天然支持不同分辨率的输出网格。训练时常用的损失是相对 L2 误差，例如在 1000 个测试样本上要求平均相对误差低于 1e-2。

谱方法：在频域学乘子

谱方法（以傅里叶神经算子 FNO 为代表）换了一个角度：既然卷积在频域等价于逐点相乘，那么一个平移不变的积分算子也可以在频域写成乘子形式。FNO 的每一层做三件事——对输入做快速傅里叶变换、在截断的低频模态上乘以一组可学习的复权重、再逆变换回物理空间。由于只保留前 k 个低频模态（常见取 12 到 32），参数量被大幅压缩，同时低频模态对应的是函数的大尺度结构，恰好是许多 PDE 解的主要成分。

谱方法的关键工程细节在于模态截断和网格一致性。假设输入网格为 64×64，取 16 个低频模态，则每层需要学习的复权重形状为 16×16（二维情形）。当输入分辨率提高到 128×128 时，仍然只取前 16 个模态，权重形状不变，因此模型可以直接迁移到更细的网格上推理，这正是离散不变性的体现。但要注意，如果训练数据的物理域长度改变，低频模态对应的物理波长也会改变，此时需要重新标定或重新训练。

注意力方法：用全局注意力近似积分

注意力方法（如 Galerkin Transformer、基于注意力的算子学习模型）把积分算子看作对所有输入位置的加权聚合：输出在位置 x 的值，等于对所有输入位置 y 的值的加权和，权重由 query 与 key 的相似度决定。这与积分 ∫ κ(x,y) a(y) dy 在形式上高度一致——softmax 权重扮演了归一化核的角色，注意力机制因此可以被理解为一种数据驱动的、自适应的核积分。

注意力方法的优势在于核不是预先固定的平移不变形式，而是随输入内容动态变化，因此更适合处理非均匀网格、复杂几何或强非线性的算子。代价是计算复杂度随采样点数呈平方增长，实际中常配合线性注意力、局部窗口或降采样来控制在可接受范围内。在实现上，通常把输入函数在若干传感器位置上的采样值作为 token，位置编码携带坐标信息，输出则在查询坐标上通过交叉注意力得到。

三者的共同点与选择依据

把三类范式放在一起看，它们的共同逼近目标非常清晰：都是在学习一个从输入函数空间到输出函数空间的映射，并且都通过某种“全局聚合”结构来突破传统网络局部感受野的限制——积分核用空间核做全局加权，谱方法用频域乘子做全局作用，注意力用相似度权重做全局聚合。三者的差别只是聚合权重的参数化方式和计算所在的域不同。

选择哪一种，取决于问题的结构。如果算子近似平移不变、解以低频成分为主、网格规则，谱方法通常最省参数、训练最稳定；如果物理域几何复杂、边界条件多变、需要显式控制核的空间依赖，积分核方法更灵活；如果数据是非均匀采样、需要处理长程依赖且样本量充足，注意力方法更有优势。实际工程中，也常见把谱层与注意力层混合堆叠的架构，用谱层处理规则网格上的大尺度传播，用注意力层处理局部不规则结构。