4. 低延迟评分接口定义

低延迟评分接口是模型看板对外暴露的核心服务端点，其设计直接决定了实时业务场景下的可用性。本章从 SLA 要求、典型应用场景两个维度展开，帮助架构师与后端开发者建立可量化的接口设计基准。

4.1 接口 SLA 要求

低延迟评分接口的 SLA（Service Level Agreement）通常以 P99 延迟 和 吞吐量 为核心指标。以下表格列出了不同业务等级下的典型 SLA 基准：

4.2 典型应用场景

4.2.1 实时风控

实时风控系统要求在毫秒级内完成用户行为评分，以拦截欺诈交易、盗刷、恶意注册等风险行为。接口调用链路通常包含：

• 特征提取： 从请求中提取设备指纹、IP 地址、行为序列等因子。
• 模型评分： 调用预加载的轻量级模型（如 XGBoost、LR）进行推理。
• 规则引擎： 结合评分结果与业务规则（如黑名单、频次限制）输出最终决策。
• 异步日志： 将评分日志写入消息队列，用于事后审计与模型迭代。

4.2.2 推荐系统

推荐系统在用户请求时需实时计算个性化推荐分数，接口延迟直接影响用户体验与业务转化率。典型流程包括：

• 用户画像加载： 从缓存中获取用户历史行为、兴趣标签。
• 候选集召回： 通过向量检索或协同过滤生成候选物品列表。
• 模型排序： 使用深度学习模型（如 DNN、Wide & Deep）对候选物品进行打分。
• 策略融合： 结合多样性、新鲜度、商业策略等因子调整最终排序。

4.3 低延迟评分接口架构图

以下 SVG 图展示了低延迟评分接口在实时风控场景下的核心架构与数据流：

4.4 接口性能优化要点

为满足上述 SLA 要求，接口设计需在以下方面进行专项优化：

1. 连接池与复用： 使用长连接池（如 gRPC、HTTP/2）减少连接建立开销，避免每次请求都创建新连接。
2. 模型预热与常驻内存： 模型文件在服务启动时加载至内存，避免推理时动态加载导致的延迟尖刺。
3. 特征预计算与缓存： 对高频使用的特征（如用户基础画像）进行预计算并缓存至 Redis 或本地内存，减少重复计算。
4. 异步非阻塞 I/O： 日志、监控等非关键路径操作使用异步写入，不阻塞主评分流程。
5. 限流与熔断： 配置令牌桶或漏桶算法进行限流，配合熔断器（如 Hystrix）防止下游故障扩散。

4.5 接口定义示例（Protobuf）

以下为低延迟评分接口的 Protobuf 定义示例，展示了请求与响应的核心字段：

syntax = "proto3";

package model_dashboard;

service ScoreService {
  // 低延迟评分接口
  rpc Score (ScoreRequest) returns (ScoreResponse);
}

message ScoreRequest {
  string request_id = 1;          // 请求唯一标识，用于追踪
  string user_id = 2;             // 用户 ID
  string scene = 3;               // 场景标识（如 "risk_control", "recommend"）
  map<string, string> features = 4; // 特征键值对
  int64 timestamp = 5;            // 请求时间戳（毫秒）
}

message ScoreResponse {
  string request_id = 1;          // 回传请求 ID
  double score = 2;               // 模型评分结果
  string decision = 3;            // 决策结果（如 "pass", "review", "reject"）
  int64 latency_ms = 4;           // 服务端处理耗时（毫秒）
  string model_version = 5;       // 模型版本号
}