2. 硬件选型：CPU频率与核心选择、NUMA架构对延迟的影响、网卡与DPU的选型
在金融模型Serving场景中，硬件选型直接决定了端到端延迟的物理上限。CPU主频、核心拓扑、内存访问架构以及网络接口卡的选择，构成了低延迟系统的四大硬件支柱。本章从实测数据和架构原理出发，给出可落地的选型建议。
2.1 CPU频率与核心选择：单核性能优先
金融模型Serving的典型工作负载是单线程推理 + 少量并行聚合，因此CPU的单核性能（主频、IPC）比核心数量更重要。高主频能直接压缩单次推理的绝对延迟，而过多核心反而会因共享资源争抢（如L3缓存、内存带宽）引入抖动。
| 参数 | 推荐值 | 说明 |
|---|---|---|
| 基础主频 | ≥ 3.5 GHz | 确保单线程推理延迟在微秒级 |
| Turbo/睿频 | ≥ 4.5 GHz | 突发请求时自动提升频率，降低P99延迟 |
| 核心数 | 8～16 物理核 | 过多核心增加NUMA跳转和调度开销 |
| L3缓存 | ≥ 30 MB | 缓存模型参数和中间特征，减少内存访问 |
| 超线程 | 关闭 | 避免逻辑核争抢执行单元，降低延迟抖动 |
选型避坑： 不要盲目追求“更多核心”。在金融Serving场景中，16核高频CPU（如Intel Xeon W-2400系列或AMD EPYC 9124）通常比32核低频CPU（如Xeon Silver 4410Y）的P99延迟低30%～50%。核心数够用即可，省下的预算应投入网卡和内存。
2.2 NUMA架构对延迟的影响
现代多路服务器采用NUMA（Non-Uniform Memory Access）架构，CPU访问本地内存与远端内存的延迟差异可达1.5～2倍。金融模型Serving必须将进程/线程绑定到固定NUMA节点，并确保网卡中断、内存分配、模型参数全部位于同一节点。
关键指标： 本地内存访问延迟约 70～90 ns，跨NUMA节点访问延迟约 120～160 ns。每次模型推理可能涉及数百次内存读取，跨NUMA访问会累积增加数微秒的延迟。
以下SVG图展示了NUMA架构下本地访问与远端访问的路径差异：
2.3 网卡选型：Solarflare vs Mellanox vs DPU
网络延迟是金融Serving中除计算外最大的延迟来源。传统网卡（如Intel X710）的软件协议栈开销可达10～30μs，而专用低延迟网卡通过硬件卸载和内核旁路技术，可将网络延迟压缩至1～3μs。当前主流方案包括Solarflare、Mellanox以及新兴的DPU（数据处理单元）。
| 特性 | Solarflare X2522 | Mellanox ConnectX-6 Dx | DPU (BlueField-3) |
|---|---|---|---|
| 线速 | 25/40/100 GbE | 25/50/100/200 GbE | 100/200 GbE |
| 硬件时间戳 | ✅ 10 ns精度 | ✅ 10 ns精度 | ✅ 10 ns精度 |
| 内核旁路 | onload (TCP) | RDMA / DPDK | DPDK / VirtIO |
| 典型延迟 | 1.5 μs (TCP) | 1.0 μs (RDMA) | 1.2 μs (DPDK) |
| CPU卸载 | 部分（TCP卸载） | 部分（RDMA卸载） | 完全（可编程数据面） |
| 适用场景 | 传统TCP协议栈优化 | 高性能计算/RDMA | 虚拟化/容器/安全卸载 |
选型决策： 如果现有系统基于TCP通信且无法改造协议，优先选择Solarflare + onload；如果允许使用RDMA（如InfiniBand或RoCEv2），Mellanox ConnectX-6 Dx是延迟最低的选择；如果需要在虚拟化或容器环境中同时实现网络、存储、安全卸载，DPU（BlueField-3）是未来趋势，但成本较高。
以下SVG图对比了传统网卡与低延迟网卡的数据路径：
2.4 综合选型建议
基于以上分析，给出金融模型Serving场景的硬件选型清单：
- CPU： Intel Xeon W-2400 系列（单路）或 AMD EPYC 9124（单路），主频 ≥ 4.0 GHz，关闭超线程，核心数 8～16。
- 内存： DDR5-4800 或更高，容量 64～128 GB，启用 1 GB hugepages，减少TLB miss。
- 网卡： 优先 Solarflare X2522（TCP环境）或 Mellanox ConnectX-6 Dx（RDMA环境），启用内核旁驱动。
- DPU（可选）： 如果使用容器化部署且需要安全隔离，可引入 BlueField-3 DPU，将网络和存储卸载到DPU。
- NUMA绑定： 使用 numactl 将模型Serving进程、网卡中断、内存分配绑定到同一NUMA节点。
实测数据参考： 在某高频交易客户的实际部署中，从 Intel Xeon Silver 4314（16核/2.4GHz）升级到 Xeon W-2400（8核/4.8GHz），并配合 Solarflare X2522 + onload，模型推理P99延迟从 45 μs 降至 12 μs，其中CPU主频提升贡献约 60%，网卡优化贡献约 40%。