2. 模型服务基础概念
在授信场景中，模型从训练完成到实际产生业务价值，中间最关键的一环就是模型服务（Model Serving）。本章将围绕模型服务的定义、推理过程以及在线/离线服务的差异展开，为后续部署架构与性能优化打下基础。
2.1 模型服务定义
模型服务是指将训练好的机器学习或深度学习模型部署到生产环境中，对外提供稳定、可调用的预测接口的过程。它不仅仅是“把模型文件放到服务器上”，而是包含模型加载、请求解析、特征预处理、推理计算、后处理、结果返回等一系列标准化步骤。
核心目标：让业务系统（如信贷审批、反欺诈、额度定价）能够以低延迟、高并发的方式调用模型能力，实现实时或准实时的决策。
| 维度 | 说明 |
|---|---|
| 输入 | 业务请求（如用户特征向量、文本、图像） |
| 处理 | 特征工程 → 模型推理 → 结果映射 |
| 输出 | 预测分数、分类标签、决策建议 |
| 协议 | RESTful API、gRPC、消息队列 |
2.2 模型推理
模型推理（Inference）是模型服务的核心计算环节，指将输入数据传入已训练好的模型，通过前向传播计算得到输出结果的过程。与训练阶段不同，推理阶段不更新模型参数，只执行固定的计算图。
- 单条推理：每次处理一条请求，适用于实时风控场景（如申请反欺诈）。
- 批量推理：将多条请求合并为一批输入模型，提高 GPU/CPU 利用率，适用于离线批量评分。
- 流式推理：数据持续流入，模型以微批次方式持续输出结果，适用于实时特征管道。
注意：授信场景对推理延迟极为敏感。通常要求单次推理 P99 延迟 < 100ms，否则会影响用户体验或导致超时拒绝。
2.3 在线服务与离线服务
根据业务对时效性的要求，模型服务可分为在线服务（Online Serving）和离线服务（Offline Serving）两种模式。在授信场景中，两者各有明确的适用场景。
在线服务
- 特点：实时响应，单次请求延迟通常在毫秒级；服务需保持高可用（99.9%+）。
- 典型场景：申请反欺诈、实时额度审批、交易监控。
- 技术栈：REST API、gRPC、容器化部署（Docker + K8s）、负载均衡。
离线服务
- 特点：批量处理，延迟容忍度高（分钟~小时级）；吞吐量优先。
- 典型场景：存量客户批量评分、模型回测、特征工程回溯。
- 技术栈：Spark、Flink、批处理调度（Airflow）、分布式存储。
| 对比维度 | 在线服务 | 离线服务 |
|---|---|---|
| 响应时间 | 毫秒级（P99 < 100ms） | 分钟~小时级 |
| 请求模式 | 单条/小批量 | 大批量（万~亿级） |
| 资源需求 | 低延迟、高并发 | 高吞吐、可弹性伸缩 |
| 典型场景 | 实时反欺诈、额度审批 | 批量评分、模型回测 |
| 部署方式 | 容器化 + 服务网格 | 分布式计算框架 |