1. 延迟优化概述
1.1 在线推理延迟的定义
在线推理延迟（Online Inference Latency）是指从客户端发起推理请求到收到完整响应所经历的总时间。在AI服务架构中，这一指标直接决定了系统的实时性与交互质量。
核心公式： 端到端延迟 = 网络传输时间 + 请求排队时间 + 预处理时间 + 模型推理时间 + 后处理时间 + 响应传输时间
根据延迟产生的阶段，可将其拆解为以下关键组成部分：
| 延迟阶段 | 典型耗时占比 | 主要影响因素 |
|---|---|---|
| 网络传输（上行/下行） | 5% – 15% | 带宽、地理距离、协议开销 |
| 请求排队 | 10% – 30% | 并发量、队列策略、资源饱和度 |
| 预处理 | 5% – 10% | 数据解码、特征提取、格式转换 |
| 模型推理 | 40% – 70% | 模型大小、算子效率、硬件加速 |
| 后处理 | 5% – 10% | 结果过滤、排序、序列化 |
实践要点： 模型推理阶段通常占据延迟的“大头”，但网络和排队延迟在高并发场景下可能迅速成为瓶颈。优化时应优先测量各阶段耗时分布，避免盲目优化。
1.2 延迟对用户体验的影响
在线推理延迟与用户体验之间存在强非线性关系。研究表明，延迟每增加100ms，用户满意度下降约7%，转化率降低约5%。不同业务场景对延迟的敏感度差异显著：
- 实时交互场景（语音助手、自动驾驶）： 延迟需控制在 50ms – 200ms 以内，超过500ms即产生明显卡顿感。
- 在线推荐/搜索： 延迟容忍上限约为 300ms – 500ms，超过1秒用户流失率急剧上升。
- 批量离线推理： 延迟要求相对宽松，但吞吐量（Throughput）成为更关键的指标。
避坑提醒： 不要仅关注平均延迟（Avg Latency）。尾延迟（P99/P999）才是用户体验的“隐形杀手”——即使平均延迟在100ms以内，若P99延迟达到2秒，仍有1%的用户遭遇严重卡顿，这在千万级DAU产品中意味着每天数十万次糟糕体验。
1.3 延迟优化的核心目标
在线推理链路延迟优化的核心目标可以归纳为“一个中心、三个基本点”：
- 中心目标： 在满足业务SLA（服务等级协议）的前提下，最小化端到端延迟，尤其是尾延迟。
- 基本点一：降低平均延迟 —— 通过模型压缩、算子优化、硬件加速等手段缩短单次推理耗时。
- 基本点二：控制尾延迟 —— 通过负载均衡、请求优先级调度、超时重试等策略抑制长尾抖动。
- 基本点三：平衡延迟与吞吐 —— 在延迟约束下最大化系统吞吐量，避免“为降延迟而牺牲吞吐”导致资源浪费。
优化黄金法则： 先测量，再优化；先瓶颈，后全局；先稳定，再极致。
1.4 延迟优化的主要挑战
在实际生产环境中，延迟优化面临多重挑战，这些挑战往往相互耦合，增加了优化的复杂度：
| 挑战类别 | 具体表现 | 典型场景 |
|---|---|---|
| 模型复杂度 | 大模型（LLM、多模态）推理延迟高，量化/剪枝后精度损失不可控 | GPT类服务、视觉大模型 |
| 资源竞争 | GPU显存/算力争抢、CPU内存带宽瓶颈、磁盘I/O抖动 | 多模型混合部署、高并发推理 |
| 动态负载 | 请求量突发、流量波峰波谷差异大，弹性扩缩容滞后 | 电商大促、热点事件触发 |
| 链路长尾 | 网络丢包重传、垃圾回收暂停、冷启动延迟 | 跨区域部署、Java/Python运行时 |
| 可观测性不足 | 缺乏端到端链路追踪，无法精准定位瓶颈阶段 | 微服务架构、异构硬件环境 |
优化切入点： 建议从“可观测性”入手，先搭建端到端延迟追踪体系（如OpenTelemetry + Jaeger/Zipkin），再基于数据驱动的方式逐一攻克其他挑战。没有精确的测量，任何优化都是盲目的。