1. 评分通道概述
什么是评分通道
评分通道（Scoring Pipeline）是一套将原始请求数据经过特征提取、模型推理、策略融合等环节，最终输出一个数值评分或决策结果的实时计算链路。在低延迟场景下，评分通道通常以同步 RPC 或流式处理的方式嵌入业务主流程，要求端到端延迟控制在毫秒级（典型目标：P99 < 50ms）。
核心定义：评分通道 = 特征工程 + 模型推理 + 后处理 + 策略路由，四者串联形成一条低延迟、高吞吐的实时计算管道。
典型应用场景
| 场景 | 输入 | 输出 | 延迟要求 |
|---|---|---|---|
| 信贷审批 | 用户身份、征信、收入、设备指纹 | 信用评分、授信额度、拒绝/通过 | P99 < 100ms |
| 风控反欺诈 | 交易流水、IP、设备、行为序列 | 欺诈概率、风险等级、拦截/放行 | P99 < 30ms |
| 推荐系统 | 用户画像、上下文、物品特征 | 推荐分数、排序列表、多样性权重 | P99 < 20ms |
- 信贷审批：银行或消费金融公司在用户申请贷款时，实时调用评分通道计算信用分，结合规则引擎做自动决策。特征来源包括央行征信、多头借贷、设备指纹等，数据维度可达数千。
- 风控反欺诈：支付平台在每笔交易发生时，通过评分通道判断是否为盗刷、薅羊毛或洗钱行为。特征通常包含 IP 归属地、设备指纹、行为序列模式，模型多为梯度提升树或深度神经网络。
- 推荐系统：电商或内容平台在用户请求推荐时，评分通道对候选物品进行实时打分，融合 CTR 预估、多样性、新鲜度等因子，输出排序结果。模型通常为大规模稀疏特征 + 深度模型。
低延迟的核心挑战
评分通道的低延迟设计面临以下四大挑战，每个挑战都直接影响架构选型和性能优化策略：
- 特征获取延迟：特征可能来自远程缓存（Redis）、数据库（MySQL/PostgreSQL）、外部 API（征信、黑名单）。每次远程调用增加 1-10ms，多个特征叠加后延迟急剧上升。
- 模型推理开销：深度学习模型（如 DNN、Transformer）或集成模型（如 XGBoost、LightGBM）的推理时间随特征维度和树深度线性增长。GPU 推理虽快，但引入 PCIe 传输和显存拷贝开销。
- 策略编排复杂度：评分通道通常包含多条规则链、A/B 实验分流、模型版本灰度。策略编排引擎若设计不当，会引入额外的分支判断和序列化开销。
- 资源竞争与抖动：高并发场景下，CPU 缓存 miss、GC 暂停、网络带宽争抢都会导致 P99 延迟大幅劣化。Java 的 Full GC、Python 的 GIL、C++ 的内存分配器都可能成为瓶颈。
经验法则：在低延迟评分通道中，80% 的延迟来自特征获取和序列化，只有 20% 来自模型推理。优化应优先从数据路径和内存布局入手。
评分通道典型架构
下图展示了一个通用的低延迟评分通道架构，包含请求入口、特征聚合、模型推理、策略融合和结果返回五个核心阶段：
延迟分解与优化方向
为了更直观地理解延迟分布，下表给出了一个典型评分通道各阶段的延迟占比和优化手段：
| 阶段 | 典型延迟占比 | 主要瓶颈 | 优化方向 |
|---|---|---|---|
| 请求解析与反序列化 | 5% - 10% | JSON/Protobuf 解析 | 使用 FlatBuffers、预分配 buffer、零拷贝反序列化 |
| 特征获取 | 40% - 60% | 远程 Redis 调用、网络延迟 | 本地缓存、批量管道、异步预取、特征预计算 |
| 特征预处理 | 10% - 15% | 缺失值填充、归一化、交叉特征 | SIMD 向量化、表达式编译、特征计算下沉到 C++ |
| 模型推理 | 15% - 25% | 矩阵乘法、树遍历 | 模型量化、剪枝、GPU/FPGA 加速、批处理 |
| 后处理与策略路由 | 5% - 10% | 规则匹配、权重计算 | 规则编译为 DAG、位运算加速、预计算阈值 |
常见误区：很多团队一开始就投入大量精力优化模型推理，却忽略了特征获取这个最大的延迟贡献者。正确的优化顺序应该是：先做特征缓存和预取，再做模型加速，最后优化策略路由。
低延迟评分通道的衡量指标
在设计和优化评分通道时，需要关注以下关键性能指标：
- P50 / P99 延迟：分别代表中位数和尾延迟，P99 是低延迟系统的核心关注点。
- 吞吐量（QPS/TPS）：每秒能处理的请求数，与延迟相互制约。
- 资源利用率：CPU、内存、网络带宽的消耗，直接影响部署成本。
- 错误率与超时率：特征获取失败、模型推理超时等异常比例。