1. 低延迟概述：金融交易场景对延迟的苛刻要求
在金融交易领域，延迟直接转化为成本。一笔订单的成交优先级、套利窗口的捕捉、风险敞口的暴露时间，均以微秒甚至纳秒为单位竞争。本章从延迟的度量、业务影响与系统权衡三个维度，建立低延迟优化的基础认知。
1.1 延迟的度量单位与业务含义
金融交易系统的延迟通常分为三个层级，每个层级对应不同的优化手段与硬件投入：
| 层级 | 单位 | 典型场景 | 感知影响 |
|---|---|---|---|
| 毫秒级 | ms (10⁻³ s) | 订单路由、风控校验、行情快照 | 人工盯盘可接受，量化策略已显劣势 |
| 微秒级 | μs (10⁻⁶ s) | FPGA 行情解析、内存撮合、低延迟消息总线 | 机构级高频交易的基本门槛 |
| 纳秒级 | ns (10⁻⁹ s) | 硬件时间戳、内核旁路网络、片上逻辑 | 顶级做市商与交易所的军备竞赛区间 |
关键认知： 1 微秒的延迟在 10 Gbps 链路上约等于 1.25 KB 数据排队时间；在套利场景中，1 微秒的领先意味着每年数百万美元的收益差异。
1.2 延迟的构成：从网卡到模型推理
一个完整的金融模型 serving 请求，其延迟由以下固定组件累加而成。理解每个组件的占比，是优化工作的起点。
- 网络传输延迟： 物理距离（光速限制） + 交换机转发 + 网卡中断处理。
- 协议栈处理延迟： TCP/IP 内核栈、用户态协议栈（如 DPDK/OpenOnload）的差异。
- 序列化/反序列化延迟： Protobuf、FlatBuffers、Cap'n Proto 等编码格式的选择。
- 模型推理延迟： 特征工程、模型前向计算（CPU/GPU/FPGA 差异显著）。
- 业务逻辑延迟： 风控检查、订单组装、日志落盘等同步操作。
1.3 延迟与吞吐量的权衡
低延迟与高吞吐量在系统设计上存在固有矛盾。盲目追求极低延迟可能牺牲吞吐量，反之亦然。金融交易场景通常优先保障延迟的确定性（P99 尾延迟），而非平均吞吐量。
| 设计策略 | 对延迟的影响 | 对吞吐量的影响 | 适用场景 |
|---|---|---|---|
| 批处理（Batching） | 增加（等待攒批） | 显著提升 | 离线风控、批量回测 |
| 独占核心 / CPU 隔离 | 降低（减少上下文切换） | 降低（核心利用率下降） | 高频交易策略 |
| 异步非阻塞 I/O | 降低（减少等待） | 提升（并发能力增强） | 行情分发、订单路由 |
| 内存池 / 对象复用 | 降低（避免 GC 抖动） | 提升（减少分配开销） | 所有低延迟系统 |
| 请求排队（队列深度增加） | 增加（排队时间变长） | 提升（吞吐量饱和） | 非实时数据同步 |
实践建议： 在金融模型 serving 中，优先设定 延迟 SLO（Service Level Objective），例如“P99 延迟 < 10 μs”，然后在此约束下最大化吞吐量。使用 背压（Backpressure） 机制保护系统不被突发流量冲垮，而非依赖队列缓冲。
1.4 延迟的统计度量：为什么 P99 比平均值更重要
在交易系统中，平均延迟具有欺骗性。一次 100 μs 的抖动可能导致订单被拒或成交在不利价位。业界普遍采用以下分位指标：
- P50（中位数）： 反映系统典型表现，但掩盖尾部风险。
- P99（99 分位）： 代表 100 个请求中最慢的 1 个，是交易系统的主要优化目标。
- P99.9 / P99.99： 用于衡量极端抖动，通常由 GC 暂停、内核调度或网络重传引起。
- 最大延迟（Max）： 记录异常峰值，用于故障排查，不作为日常优化指标。
1.5 金融交易场景的延迟预算分配
一个典型的低延迟模型 serving 系统，需要将端到端延迟预算分解到每个子系统。以下是一个 10 μs 预算的分配示例：
| 子系统 | 预算 (μs) | 占比 | 关键优化手段 |
|---|---|---|---|
| 网络接收 + 解析 | 2.0 | 20% | Solarflare / DPDK / 内核旁路 |
| 特征工程 | 2.5 | 25% | 预计算 / 增量更新 / SIMD |
| 模型推理 | 3.0 | 30% | 模型量化 / TensorRT / FPGA |
| 业务逻辑 + 风控 | 1.5 | 15% | 位图过滤 / 预分配对象 |
| 序列化 + 发送 | 1.0 | 10% | FlatBuffers / 零拷贝 |
| 合计 | 10.0 | 100% | — |
常见误区： 不要将优化资源平均分配到每个子系统。应优先优化占比最大的模块（模型推理与特征工程），同时确保网络路径不成为瓶颈。使用 火焰图（Flame Graph） 和 延迟直方图 持续监控预算消耗。
1.6 本章小结
- 金融交易延迟以微秒和纳秒为竞争单位，P99 尾延迟比平均值更具业务意义。
- 延迟由网络、协议栈、序列化、模型推理和业务逻辑五部分构成，模型推理通常是最大占比。
- 低延迟与高吞吐量存在权衡，交易系统应优先保障延迟确定性，再优化吞吐量。
- 建立明确的延迟预算分配，并持续使用分位指标进行监控与调优。