1. 课程导论：低延迟评分系统的定义、应用场景与学习路径
1.1 什么是低延迟评分系统？
低延迟评分系统（Low-Latency Scoring System）是指能够在极短时间内（通常为毫秒级）完成模型推理并返回评分结果的工程化架构。其核心指标是 P99 延迟 与 吞吐量，而非单纯的模型精度。
| 维度 | 传统批处理评分 | 低延迟评分 |
|---|---|---|
| 响应时间 | 秒级 ~ 分钟级 | < 50ms（P99） |
| 请求模式 | 离线批量 | 在线实时 |
| 资源策略 | 按需扩容 | 预分配 + 弹性 |
| 模型部署 | 单机大模型 | 轻量化 + 多副本 |
| 典型场景 | 日报、月报 | 支付、推荐、风控 |
关键认知： 低延迟评分不是"把模型跑快一点"，而是从特征工程、模型剪枝、推理引擎、网络传输到服务编排的全链路系统工程。
1.2 核心应用场景
场景一：金融风控
- 交易反欺诈： 每笔支付需在 100ms 内完成信用评分与规则引擎联合决策。
- 实时授信： 用户点击"借款"后，系统需在 2 秒内完成特征提取、模型评分、额度计算。
- 设备指纹关联： 将设备行为特征实时送入评分模型，拦截异常登录。
场景二：推荐系统
- 首页信息流： 用户刷新后 200ms 内完成召回、粗排、精排、重排全链路。
- 广告竞价： 每次广告请求需在 50ms 内完成 CTR/CVR 预估。
- 实时个性化： 根据用户最近 3 次点击行为动态调整评分权重。
场景三：其他典型领域
- IoT 边缘推理： 设备端传感器数据毫秒级异常检测。
- 语音实时翻译： 流式语音评分与语义打分。
- 游戏反作弊： 玩家操作行为实时评分与封禁判定。
行业参考： 某头部支付平台要求风控评分 P99 延迟 < 30ms，每秒处理 10 万+ 笔交易。这需要模型推理引擎与特征存储之间使用共享内存通信，而非 HTTP 调用。
1.3 低延迟评分系统架构总览
下图展示了从模型解释到 API 发布的完整技术栈，本课程将逐一深入每个环节。
1.4 课程目标
完成本课程后，你将具备以下能力：
- 理解低延迟评分系统的工程约束： 延迟、吞吐、资源成本之间的权衡。
- 掌握模型解释技术： SHAP、LIME、特征重要性可视化，并能在生产环境中输出解释结果。
- 构建高性能推理管道： 使用 ONNX Runtime、TensorRT、TorchScript 等引擎进行模型加速。
- 设计可扩展的评分服务： 基于 gRPC 的微服务架构、连接池管理、超时与重试策略。
- 实现 API 发布与版本管理： 从模型注册到灰度发布、A/B 测试、监控告警。
- 实战演练： 从零搭建一个金融风控评分 API，延迟控制在 30ms 以内。
1.5 学习路径与章节规划
课程共 30 章，分为 6 个阶段，建议按顺序学习：
| 阶段 | 章节范围 | 核心内容 | 产出物 |
|---|---|---|---|
| 基础篇 | 1 ~ 5 | 低延迟概念、特征工程、模型解释基础 | 特征管道 + 解释报告 |
| 模型优化篇 | 6 ~ 12 | 模型剪枝、量化、蒸馏、推理引擎选型 | 优化后的 ONNX 模型 |
| 服务架构篇 | 13 ~ 19 | gRPC 服务、负载均衡、熔断降级、连接池 | 高可用评分服务 |
| 发布运维篇 | 20 ~ 25 | API 网关、版本管理、灰度发布、监控 | 生产级 API 发布流程 |
| 实战篇 | 26 ~ 28 | 金融风控 + 推荐系统两个完整案例 | 可部署的评分系统 |
| 进阶篇 | 29 ~ 30 | 边缘部署、GPU 推理优化、成本控制 | 性能调优报告 |
学习建议： 每章都包含可运行的代码示例。请务必在本地或云环境搭建实验环境（推荐 Python 3.10+、Docker、至少 4GB 内存）。不要跳过"模型解释"章节——生产环境中，业务方要求"为什么给出这个分数"的频率远高于"分数是多少"。
1.6 本章小结
- 低延迟评分系统的核心是 P99 延迟 < 50ms，涉及特征、模型、服务三层优化。
- 金融风控和推荐系统是最典型的两大应用场景，对延迟和可解释性有极高要求。
- 本课程从模型解释出发，最终交付可发布的 API，覆盖完整工程链路。
- 下一章将深入 实时特征工程，讲解如何构建毫秒级特征管道。