1. 信用评分模型 Serving 概述
1.1 什么是信用评分模型 Serving
信用评分模型 Serving（模型服务）是指将训练完成的信用评分模型部署到生产环境，对外提供实时或批量评分推理接口的过程。它不仅是模型文件的加载与预测，更涵盖请求预处理、特征工程、模型推理、后处理、结果返回及全链路监控等完整生命周期。
核心定义： Serving 是将离线训练的评分模型转化为在线可用、可观测、可运维的业务能力的过程。
1.2 业务价值
| 价值维度 | 具体说明 | 典型指标 |
|---|---|---|
| 风险决策时效 | 将模型推理延迟从分钟级降至毫秒级，支撑实时授信与交易拦截 | P99 延迟 < 50ms |
| 业务吞吐能力 | 支持高并发请求，保障大促、秒杀等峰值场景不降级 | QPS > 10,000 |
| 模型迭代效率 | 支持 A/B 测试、灰度发布、模型热更新，缩短上线周期 | 上线周期 < 1 天 |
| 资源成本控制 | 通过弹性伸缩与模型量化降低 GPU/CPU 资源消耗 | 单次推理成本 < 0.01 元 |
| 可观测与可运维 | 提供实时监控、告警、日志与链路追踪，快速定位故障 | MTTR < 5 分钟 |
1.3 Serving 在风控链路中的位置
信用评分模型 Serving 处于风控决策链路的核心执行层，连接特征计算与业务决策。下图展示了典型风控链路中 Serving 的上下游关系：
1.4 Serving 的核心能力要求
- 低延迟： 单次推理 P99 延迟需控制在 50ms 以内，部分场景要求 < 10ms。
- 高吞吐： 支持每秒数千至数万次评分请求，具备弹性扩缩容能力。
- 高可用： 服务可用性 ≥ 99.99%，支持多机房容灾与自动故障转移。
- 一致性： 在线 Serving 与离线训练的特征处理逻辑完全对齐，避免训练-推理偏差。
- 可观测： 提供延迟分布、QPS、错误率、模型分数分布等实时监控指标。
1.5 常见 Serving 架构模式
| 架构模式 | 适用场景 | 优势 | 劣势 |
|---|---|---|---|
| 单体 Serving | 小型团队、低并发场景 | 部署简单，运维成本低 | 扩展性差，单点故障风险 |
| 微服务 Serving | 中型团队、多模型并行 | 独立扩缩容，故障隔离 | 网络开销增加，治理复杂 |
| 流式 Serving | 实时风控、事件驱动场景 | 低延迟，与消息队列原生集成 | 状态管理复杂，调试困难 |
| Serverless Serving | 流量波动大、冷启动可接受 | 零运维，按需付费 | 冷启动延迟，长尾性能不稳定 |
选型建议： 对于金融级风控场景，推荐采用微服务 + 流式混合架构，兼顾性能与可运维性。
1.6 性能优化的关键维度
本课程后续章节将围绕以下维度展开性能优化实践：
- 模型优化： 模型量化、剪枝、蒸馏、ONNX/TensorRT 加速。
- 特征工程加速： 特征预计算、缓存、向量化计算。
- 服务框架选型： Triton Inference Server、TorchServe、TFServing 对比。
- 资源调度： GPU 显存管理、CPU 绑核、内存池化。
- 全链路压测： 瓶颈定位、容量规划、限流降级策略。
常见误区： 只关注模型推理速度而忽略特征计算与网络传输开销，导致端到端延迟仍然很高。性能优化应从全链路视角出发。