1. 课程导论与整体架构
1.1 低延迟模型服务的定义
低延迟模型服务（Low-Latency Model Serving）是指将训练完成的机器学习模型部署为在线 API 端点，并在严格的时间约束内完成推理请求的处理。其核心指标是 P99 延迟（99% 的请求在指定时间内完成）和 吞吐量（每秒处理的请求数）。
关键阈值： 不同场景对延迟的要求差异巨大。实时推荐通常要求 P99 < 100ms，风控系统要求 P99 < 50ms，而自动驾驶的感知模块则要求端到端延迟 < 30ms。
| 维度 | 低延迟模型服务 | 传统批处理服务 |
|---|---|---|
| 响应时间 | 毫秒级（P99 < 100ms） | 秒级到小时级 |
| 请求模式 | 在线、实时、单次推理 | 离线、批量、大规模吞吐 |
| 资源策略 | 预留资源、弹性扩缩、冷启动优化 | 按需分配、任务队列 |
| 可解释性 | 需在延迟预算内返回解释 | 可离线计算复杂解释 |
1.2 核心应用场景
低延迟模型服务已渗透到多个关键业务领域，以下是三个最具代表性的场景：
- 实时推荐系统： 电商首页、短视频 Feed、广告排序。用户每次刷新都需要在几十毫秒内完成召回、排序、重排全链路，模型服务是其中的核心推理节点。
- 实时风控系统： 支付交易、账户登录、信贷审批。风控模型需要在请求到达后立即判断是否为欺诈行为，延迟过高会导致用户体验下降或资金损失。
- 自动驾驶感知： 目标检测、车道线识别、障碍物预测。车辆传感器数据以 30-60 FPS 流入，模型推理必须在帧间隔内完成，否则会引发安全风险。
场景共性： 这三个场景都要求模型服务具备 高可用性（99.99%+）、弹性伸缩（应对流量洪峰）以及 可观测性（延迟、吞吐、错误率全链路监控）。
1.3 课程目标
完成本课程后，学员将能够：
- 设计并实现 一个生产级的低延迟模型服务 API，包含请求预处理、模型推理、后处理全链路。
- 掌握 模型服务性能优化技术：模型量化、算子融合、批处理策略、GPU 推理加速。
- 集成 可解释性模块，在毫秒级延迟预算内返回 SHAP、LIME 或特征重要性等解释结果。
- 构建 MLOps 流水线，实现模型版本管理、A/B 测试、自动回滚和监控告警。
- 通过 三个实战项目（推荐、风控、自动驾驶模拟）巩固所学知识。
1.4 学习路径图
课程共分为 6 个模块，建议按顺序学习。每个模块都包含理论讲解、代码实战和课后作业。
1.5 课程前置知识
为获得最佳学习体验，建议学员具备以下基础：
- Python 编程： 熟悉异步编程（asyncio）、类型注解、装饰器。
- 机器学习基础： 了解分类/回归模型、特征工程、模型评估指标。
- Web 服务基础： 了解 RESTful API、HTTP 协议、JSON 序列化。
- Docker 基础： 能够编写 Dockerfile 并运行容器。
注意： 本课程不从头讲解机器学习算法原理，而是聚焦于模型服务的工程化部署与可解释性集成。如果对上述前置知识不熟悉，建议先补充相关基础。