2. 函数空间与算子基础

神经算子要学习的是“函数到函数”的映射，例如把一条初始温度曲线映射为未来某一时刻的温度曲线，或把一组材料参数场映射为对应的应力场。这类映射的输入、输出都不再是有限维向量，而是某个函数空间中的元素。因此，在进入具体网络结构之前，必须先明确三件事：函数空间如何定义“距离”和“收敛”，算子在这类空间上如何表现，以及什么样的算子才值得被神经网络逼近。本节围绕巴拿赫空间、希尔伯特空间、索伯列夫空间，以及算子的连续性、有界性与紧性展开。

一、从向量空间到函数空间：范数决定“远近”

函数空间首先是一个向量空间：函数可以相加，也可以数乘。真正让它成为“空间”的，是范数。范数给每个函数一个非负的“长度”，并诱导出两函数之间的距离。若空间 X 上定义了范数 ‖·‖_X，且该空间关于此范数完备（任何柯西列都收敛于空间内元素），则称 X 为巴拿赫空间。完备性非常关键：它保证逼近序列的极限仍然留在空间内，否则“逼近”本身可能失去意义。

常见的函数空间例子包括：

• C([a,b])：连续函数空间，配以最大范数 ‖f‖_∞ = max_x|f(x)|，是巴拿赫空间。
• L^p(Ω)：p 次可积函数空间，范数为 (∫_Ω|f|^pdx)^1/p，1 ≤ p < ∞ 时是巴拿赫空间。
• L²(Ω)：平方可积函数空间，它额外带有内积 ⟨f,g⟩ = ∫_Ω f g dx，因此是希尔伯特空间。

希尔伯特空间是巴拿赫空间的特例：范数由内积诱导，‖f‖ = √⟨f,f⟩。内积带来正交性、投影定理和广义傅里叶展开，这正是谱方法、本征函数展开以及许多神经算子谱卷积层的数学根基。可以这样记：巴拿赫空间提供距离，希尔伯特空间额外提供角度。

二、索伯列夫空间：把导数也纳入度量

在求解偏微分方程时，仅控制函数值的大小往往不够，还需要控制其变化率。索伯列夫空间 H^s(Ω)（或 W^s,p）在 L² 的基础上要求函数直到 s 阶的弱导数也平方可积，其内积形如

⟨f, g⟩_{H^s} = Σ_{|α| ≤ s} ∫_Ω D^α f · D^α g dx

其中 α 为多重指标。直观上，H^s 范数同时惩罚“幅值大”和“高频振荡剧烈”的函数。这一点对神经算子尤为重要：PDE 的解往往具有一定的光滑性（例如 H¹ 或 H²），若网络只在 L² 意义下拟合，可能在函数值上接近、但导数严重失真，导致物理量（如通量、应力）计算错误。因此在损失函数中引入索伯列夫范数或导数惩罚项，是提升算子学习物理一致性的常用手段。

下面的图示梳理了三个空间之间的包含关系，以及范数所控制的量：

三、算子的连续性、有界性与紧性

设算子 T: X → Y 把输入函数空间 X 中的元素映到输出空间 Y。三个性质层层递进：

连续性：若 u_n → u 于 X 中，则 T(u_n) → T(u) 于 Y 中。它保证输入的微小扰动不会引起输出的剧烈跳变，是算子“可学习”的基本前提。对线性算子而言，连续性与有界性等价。

有界性：存在常数 C，使对所有 u 有 ‖T(u)‖_Y ≤ C‖u‖_X。这里的“有界”不是指输出值域有界，而是指算子对输入范数的放大倍数有上界。这个常数 C 就是算子的范数，刻画了映射的稳定程度。例如热传导算子会强烈衰减高频分量，其范数通常小于 1；而反卷积或微分算子可能放大高频，范数较大甚至无界。

紧性：若 X 中的有界集在 T 下的像在 Y 中是相对紧集（即其闭包是紧集），则称 T 为紧算子。紧算子的一个重要性质是：它把弱收敛序列映为强收敛序列，并且可以表示为奇异值分解形式 T(u) = Σ σ_k⟨u, φ_k⟩ψ_k，其中 σ_k → 0。这为用有限个模态近似算子提供了理论依据，也是谱神经算子截断模态数的数学来源。

四、一个可操作的示例：热传导算子的范数估计

考虑一维热传导方程在周期区域上的解算子：给定初始温度 u₀(x)，经过时间 t 后得到 u(x,t)。在傅里叶基下，第 k 个模态的衰减因子为 e^−κk²t（κ 为热扩散系数）。因此该算子在 L² 范数下的算子范数为

‖T_t‖ = sup_k e^{−κ k² t} = 1   （k = 0 模态不衰减）

若只考虑零均值子空间，则范数为 e^{−κ t}（k = 1 时取到）。这说明热传导算子有界且范数不超过 1，同时由于衰减因子随 k 趋于零，它是紧算子。实际训练中，若取 κ = 0.01、t = 1，则 k = 10 的模态衰减到 e⁻¹ ≈ 0.37，k = 30 时衰减到 e⁻⁹ ≈ 1.2×10⁻⁴。这提示我们：网络输出若保留到 30 个模态，截断误差已在 10⁻⁴ 量级，可作为选择模态数的参考依据（此处数值为示例性估算，非实测结果）。

五、这些概念如何指导神经算子设计

第一，空间选择决定损失函数。若目标输出属于 H¹，仅用 L² 损失可能得到视觉上接近但导数错误的解，应加入梯度惩罚或直接在 H¹ 范数下计算误差。第二，有界性提示稳定性设计。对范数较大的算子，网络需要更强的归一化或残差约束，避免训练中误差被放大。第三，紧性支撑有限模态近似。谱类方法截断到前 N 个模态，本质上是用有限秩算子逼近紧算子，N 的选择应与奇异值衰减速度匹配。第四，希尔伯特结构支撑正交展开。傅里叶神经算子、球谐算子等都依赖内积与正交基，理解这一点有助于判断方法适用的边界条件与几何区域。

把这些概念串起来看：函数空间定义了“在哪里比较”，范数定义了“怎么比较”，连续性与有界性回答“映射是否稳定”，紧性回答“能否用有限自由度有效逼近”。神经算子并不是绕开这些经典理论的技巧，而是以神经网络为参数化工具，在函数空间之间构造可学习的逼近映射。掌握这套语言，后续讨论算子逼近误差、泛化界与离散化不变性时，才能看清每个结论成立的前提。