3. HPC基础架构

电磁仿真（如FDTD、FEM、MoM、多层快速多极子）在工程化应用中往往需要求解数亿乃至数十亿未知量，单机内存与算力很快成为瓶颈。HPC基础架构的本质，是把计算、存储、网络和调度组织成一台“可扩展的并行计算机”，让电磁求解器能够把矩阵填充、稀疏求解、场量更新等任务拆分到成百上千个计算单元上协同完成。理解这套架构，是后续做并行效率调优、资源配额规划和作业排队优化的前提。

一、核心原理：从集群到超级计算机的分层结构

HPC系统通常按规模与耦合程度分为三类：集群（Cluster）由标准服务器节点加高速互连组成，性价比高、扩展灵活，是电磁仿真最常用的形态；超级计算机（Supercomputer）在集群基础上采用定制互连（如胖树、龙芯/申威等国产体系或InfiniBand高速网）、液冷和高密度机柜，追求极致浮点性能与低延迟；异构计算平台则在节点内混合CPU、GPU、FPGA等不同指令集与并行模型的加速器，用“主控+加速”的方式提升能效比。

无论规模大小，HPC架构都可抽象为五层：计算节点层、互连网络层、存储层次层、作业调度层和系统管理层。电磁仿真作业的性能，往往不取决于单节点峰值算力，而取决于这五层之间的匹配程度——例如GPU算力很强但PCIe带宽不足，或网络延迟高导致区域分解后通信占比过大。

二、方法流程：一次电磁仿真作业在HPC上的执行链路

以典型的FDTD或FEM仿真为例，作业从提交到完成大致经历以下链路：

1. 资源申请：用户通过 sbatch 提交脚本，声明节点数、每节点任务数、GPU数量、内存和运行时限。
2. 队列排队：调度器按分区、优先级、QOS和公平共享策略分配资源，可能因配额不足而排队。
3. 作业启动：调度器在分配节点上启动 MPI 进程，绑定 CPU 核与 NUMA 节点，加载求解器可执行文件。
4. 网格与数据读取：从并行文件系统读取网格、材料参数和激励源，I/O 带宽决定启动阶段耗时。
5. 并行计算：按区域分解或矩阵分块并行求解，节点间通过互连网络交换边界场或稀疏矩阵向量乘结果。
6. 结果写回：将场分布、S参数、RCS等结果写入共享存储，必要时做后处理与可视化。

这条链路中，任何一环出现瓶颈都会拉低整体效率。例如网格文件过大导致所有进程同时读同一文件，元数据服务器过载；或 MPI 进程未做 CPU 亲和性绑定，导致跨 NUMA 访存。

三、案例/场景：GPU加速FDTD的资源配置

某天线阵列仿真使用 GPU 版 FDTD 求解器，单卡显存 40GB，网格量约 8 亿。若单卡无法容纳，需要做域分解，把计算域切成多个子域，每个子域映射到一张 GPU，子域之间通过 MPI 交换边界场。此时关键参数包括：

# Slurm 作业脚本示例
#!/bin/bash
#SBATCH --job-name=fdtd_gpu
#SBATCH --partition=gpu
#SBATCH --nodes=4
#SBATCH --ntasks-per-node=4
#SBATCH --gres=gpu:4
#SBATCH --cpus-per-task=8
#SBATCH --mem=0
#SBATCH --time=24:00:00

module load cuda/12.2 openmpi/4.1
export OMP_NUM_THREADS=8
srun --cpu-bind=cores ./fdtd_solver -grid 800M -decomp 4x4 -steps 20000

调优时需关注：GPU 间是否走 NVLink、节点间是否走 InfiniBand、MPI 通信是否与计算重叠、显存是否足够容纳子域加边界缓冲。若通信占比超过 30%，通常说明子域切得太细或网络带宽不足。

四、误区与复盘：常见认知偏差

五、关键组件对比清单