1. 课程导论与背景：低延迟推理在广告、搜索、推荐(AML)系统中的重要性，以及当前面临的挑战
1.1 为什么低延迟是AML系统的生命线
在广告、搜索、推荐（AML）系统中，推理延迟直接转化为商业指标。用户每一次滑动、每一次搜索、每一次页面加载，背后都隐藏着毫秒级的模型推理竞赛。延迟每增加100ms，转化率可能下降5%-10%，用户满意度显著降低。低延迟推理不再是“优化选项”，而是AML系统的核心生存能力。
关键商业指标映射： 推理延迟 → 页面加载时间 → 用户跳出率 → 广告点击率(CTR) → 收入(RPM)。在大型电商平台，推理延迟每增加50ms，年度收入损失可达数千万美元。
1.2 典型AML推理链路的延迟构成
一个完整的AML推理链路并非单一模型调用，而是由多个串行/并行阶段组成。理解各阶段的延迟分布是优化的前提。
| 阶段 | 典型组件 | 延迟占比（典型） | 优化空间 |
|---|---|---|---|
| 特征工程 | 实时特征计算、特征存储(Redis/Aerospike)、特征拼接 | 30% - 45% | 高（特征预计算、缓存、向量化） |
| 模型推理 | DNN/Transformer/GNN 前向计算 | 25% - 40% | 高（模型量化、剪枝、算子融合、TensorRT） |
| 后处理与排序 | Score校准、多样性重排、业务规则过滤 | 10% - 15% | 中（规则引擎优化、批处理） |
| 网络与序列化 | gRPC/HTTP 调用、Protobuf/Thrift 序列化 | 10% - 20% | 高（连接池、二进制协议、共享内存） |
1.3 当前面临的核心挑战
随着模型规模膨胀（从百MB到百GB）、流量峰值波动（秒级万级QPS）、以及多目标模型联合推理的需求，低延迟架构面临以下系统性挑战：
- 模型规模与延迟的矛盾： 大模型（如千亿参数推荐模型）单次推理延迟可达数十毫秒，远超广告系统要求的5-10ms P99延迟红线。
- 特征访问的“长尾”延迟： 实时特征依赖远程存储，网络抖动、热点Key、缓存击穿导致P99延迟剧烈波动。
- 异构硬件适配复杂度： CPU/GPU/TPU/FPGA 混合部署，算子在不同硬件上的性能差异巨大，缺乏统一的延迟建模工具。
- 在线推理与离线训练的一致性： 训练时使用FP32，推理时为了加速量化到INT8，精度损失与加速比的平衡难以把控。
- 微服务架构下的“延迟放大”效应： 一次推理请求可能经过5-8个微服务，每个服务增加1ms，整体延迟可能放大到15-20ms。
常见误区： 很多团队只优化模型推理本身的延迟（如GPU算子），却忽略了特征工程和网络序列化环节。实际上，在CPU密集型推荐系统中，特征工程往往是最大的延迟瓶颈，占比可超过40%。
1.4 低延迟推理的优化全景图
下图展示了从请求入口到最终响应的完整优化维度。每个层级都有对应的延迟优化技术栈，本课程将逐一深入剖析。
1.5 本课程的技术栈与学习路径
本课程覆盖从硬件选型到软件栈优化的全链路技术，重点包括：
- 硬件加速： GPU（NVIDIA A100/H100）、Intel Sapphire Rapids AMX、AWS Inferentia、FPGA 的延迟特性对比。
- 模型压缩： 量化（PTQ/QAT）、剪枝（结构化/非结构化）、蒸馏、模型分片（Model Sharding）。
- 推理引擎： TensorRT、ONNX Runtime、Triton Inference Server、vLLM 的延迟调优参数。
- 系统架构： 异步推理、请求合并（Batching）、特征缓存一致性、微服务拓扑优化。
- 可观测性： 全链路追踪（OpenTelemetry）、延迟火焰图、自适应限流算法。