1. 课程导论与目标
1.1 什么是低延迟评分接口
低延迟评分接口是一种在极短时间内（通常为毫秒级）接收输入特征并返回数值化评分结果的 API 服务。其核心特征是响应时间可预测且吞吐量高，常用于对实时性要求苛刻的业务场景。
关键指标定义：
- P99 延迟：99% 的请求在 X 毫秒内完成，通常要求 ≤ 50ms
- 吞吐量：每秒可处理的请求数（QPS），通常要求 ≥ 10,000
- 可用性：服务正常运行时间占比，通常要求 ≥ 99.99%
与传统的批处理评分系统不同，低延迟评分接口需要在线实时计算，不能依赖离线预计算或长时间等待。这意味着从请求到达、特征提取、模型推理到结果返回的整个链路都必须经过极致优化。
1.2 典型应用场景
低延迟评分接口在互联网和金融领域有广泛的应用需求，以下是最常见的三类场景：
| 场景 | 延迟要求 | 输入特征量 | 典型模型 |
|---|---|---|---|
| 信用评分 | P99 ≤ 100ms | 50~200 维 | XGBoost / LR |
| 推荐排序 | P99 ≤ 30ms | 100~500 维 | DNN / FM |
| 风控决策 | P99 ≤ 50ms | 20~100 维 | 规则引擎 + 模型 |
场景案例：某金融科技公司的实时信用评分接口，在双十一期间峰值 QPS 达到 50,000，P99 延迟控制在 45ms 以内。该接口使用 XGBoost 模型，特征维度 128 维，部署在 8 台 8C16G 的容器上，通过一致性哈希做流量分发。
1.3 课程整体路线图
本课程共 30 章，分为五个阶段，从设计到发布全链路覆盖：
1.4 学习目标与前置要求
完成本课程后，你将能够：
- 独立设计并实现一个生产级的低延迟评分接口
- 掌握从特征工程到模型部署的全链路优化技术
- 具备性能压测、瓶颈分析和容量规划的能力
- 理解分布式架构下的高可用与容灾设计
前置知识要求：
- 熟悉至少一门后端编程语言（Java/Go/Python）
- 了解基本的 RESTful API 设计原则
- 对机器学习模型有基础认知（特征、推理、模型文件）
- 掌握 Linux 基本操作和 Docker 容器化概念
1.5 课程特色与交付物
| 特色 | 说明 |
|---|---|
| 实战驱动 | 每章配套可运行的代码示例和配置文件 |
| 性能优先 | 从第一行代码开始就考虑延迟和吞吐量 |
| 全链路覆盖 | 从需求分析到线上监控，不遗漏任何环节 |
| 可复用模板 | 提供 API 模板、压测脚本、Dockerfile 等可直接使用的资产 |
本课程所有代码和配置均基于开源技术栈（Spring Boot / FastAPI / ONNX Runtime / Redis / Prometheus），确保你可以在自己的环境中完整复现。