2. 在线推理链路整体架构：请求入口、特征工程、模型推理、结果后处理、响应返回的全链路设计

在线推理链路是信用评分模型从接收到实时请求到返回评分结果的完整执行路径。与离线批量评分不同，在线推理对延迟、稳定性和可观测性有极高要求。本章将逐层拆解全链路的核心环节，并给出各阶段的设计要点与常见陷阱。

2.1 全链路阶段划分

一条标准的信用评分在线推理链路包含以下 5 个阶段，每个阶段都有明确的输入、输出和职责边界：

2.2 全链路架构总览

下图展示了在线推理链路的完整数据流与组件关系。请求从左侧进入，经过网关、特征服务、模型服务、后处理服务，最终返回给调用方。每个服务内部都有独立的超时、熔断和监控机制。

2.3 各阶段详细设计

2.3.1 请求入口

请求入口是链路的第一个关卡，负责将外部请求转化为内部标准格式。常见实现方式包括 Nginx + Lua、Kong 网关或自研 gRPC 代理。

• 协议适配：支持 HTTP/1.1、HTTP/2、gRPC，内部统一使用 Protobuf 序列化。
• 鉴权与限流：基于 Token 或 HMAC 签名验证身份；使用令牌桶或滑动窗口限流，防止突发流量冲垮下游。
• 参数校验：检查必填字段（如身份证号、手机号）是否为空，格式是否合法（如手机号 11 位数字）。
• 请求去重：基于请求 ID（UUID）做幂等校验，防止重复提交导致重复扣分。

2.3.2 特征工程

特征工程是在线推理中最复杂、最容易出错的环节。它需要将原始数据转化为模型可接受的数值向量，同时保证计算效率。

特征工程通常分为三类操作：

特征工程的核心代码示例（Python 伪代码）：

def feature_pipeline(request: ScoringRequest) -> FeatureVector:
    # 1. 基础特征提取
    base_features = extract_base_features(request)
    
    # 2. 聚合特征（带缓存）
    agg_key = f"agg:{request.user_id}"
    agg_features = cache.get(agg_key)
    if agg_features is None:
        agg_features = compute_aggregation(request.user_id)
        cache.set(agg_key, agg_features, ttl=300)
    
    # 3. 外部特征（带熔断）
    ext_features = {}
    try:
        ext_features = call_external_api(request.id_card, timeout=0.05)
    except TimeoutError:
        ext_features = {"external_risk": -1}  # 默认值
    
    # 4. 特征编码与拼接
    feature_vector = encode_and_concat(base_features, agg_features, ext_features)
    return feature_vector

2.3.3 模型推理

模型推理阶段负责加载训练好的模型文件，对特征向量进行前向计算，输出原始分数或概率。常见的模型类型包括逻辑回归、XGBoost、LightGBM 和深度神经网络。

• 模型加载：使用 ONNX Runtime、TensorFlow Serving 或自研推理引擎。模型文件应预热加载，避免冷启动延迟。
• 批处理：支持动态批处理（dynamic batching），将多个请求合并为一个批次推理，提高 GPU 利用率。
• 版本管理：模型版本通过配置中心下发，支持 A/B 测试和灰度发布。
• 降级策略：当模型推理失败时，回退到备用模型（如简单逻辑回归）或返回默认分数。

2.3.4 结果后处理

模型输出的原始分数（如 0.85）需要经过后处理才能转化为业务可用的信用评分（如 650 分）。后处理阶段还负责策略拦截和可解释性输出。

2.3.5 响应返回

响应返回是链路的最后一环，负责将最终结果序列化并返回给调用方。同时，该阶段需要完成日志记录和异步审计。

• 序列化：使用 Protobuf 或 JSON 格式，推荐 Protobuf 以减少带宽和序列化时间。
• 日志埋点：记录全链路 Trace ID、每个阶段的耗时、特征哈希值（脱敏）、模型版本、最终评分。
• 异步审计：将请求和响应原始数据写入消息队列（Kafka），供离线分析和模型监控使用。
• 错误码规范：定义统一的错误码枚举，如 SUCCESS=0、PARAM_ERROR=1001、MODEL_TIMEOUT=2001。

2.4 全链路时序与超时控制

在线推理对延迟极其敏感，必须为每个阶段设置独立的超时时间，并实现全链路超时传播。下图展示了典型的时序控制策略：

2.5 全链路可观测性设计

可观测性是在线推理链路稳定运行的基石。每个阶段都需要暴露关键指标，以便快速定位瓶颈和异常。

2.6 本章小结