3、灰度回测整体架构：流量分层、影子模式、实时评估、决策反馈闭环

模型服务的灰度回测并非单一技术动作，而是一套从流量接入到决策反馈的完整工程体系。本章从架构视角拆解其核心四层：流量分层（如何切分线上流量）、影子模式（如何无感验证）、实时评估（如何量化模型表现）、决策反馈闭环（如何自动或半自动完成版本切换）。

3.1 架构总览：四层协同

灰度回测整体架构采用“分层解耦、数据驱动”的设计原则，每一层承担独立职责，通过标准接口串联。下表概括各层核心功能与关键组件：

3.2 流量分层：精细化切分策略

流量分层解决的核心问题是“哪些请求应该被分配到哪个模型版本”。常见的分层维度包括：

• 用户维度：按用户ID哈希、用户等级、地域、设备类型等标签切分。
• 请求维度：按请求来源、业务类型、请求量级（QPS区间）切分。
• 时间维度：按时间段（如业务低峰期）、日期（如大促前后）动态调整。
• 随机比例：按百分比（如5%、10%、50%）进行无差别随机分流。

流量分层配置通常存储在配置中心，支持热更新。以下是一个典型的分流规则配置示例：

# 流量分层规则示例（YAML格式）
routing:
  version: "v2.3.1"
  rules:
    - name: "internal-user-canary"
      condition: "user.tier == 'VIP' AND user.region == 'cn-east'"
      target: "model-v2.1.0"
      weight: 100
    - name: "random-5pct"
      condition: "hash(user_id) % 100 < 5"
      target: "model-v2.1.0"
      weight: 100
    - name: "default"
      condition: "true"
      target: "model-v2.0.0"
      weight: 100

3.3 影子模式：无感验证的核心机制

影子模式（Shadow Mode）是灰度回测区别于普通A/B测试的关键特征。它允许候选模型“监听”线上真实请求，但输出结果不返回给用户，仅用于评估。其工作流程如下：

1. 请求复制：流量分层网关在将请求转发给主模型（Production）的同时，异步复制一份请求副本。
2. 影子路由：副本请求被发送至影子代理，由代理根据候选模型列表进行分发。
3. 结果隔离：候选模型的输出结果写入独立的影子存储（如Kafka Topic、时序数据库），不污染主流程。
4. 延迟容忍：影子请求允许超时或失败，不影响主请求的SLA。

3.4 实时评估：从指标到洞察

实时评估层负责将候选模型的输出转化为可量化的指标，并判断模型是否“健康”。评估指标通常分为三类：

实时评估引擎通常采用“滑动窗口 + 多级聚合”架构：秒级窗口用于快速告警，分钟级窗口用于趋势分析，小时级窗口用于决策依据。

3.5 决策反馈闭环：自动化与人工兜底

决策反馈闭环是灰度回测的“大脑”，它根据实时评估结果，决定下一步动作。闭环流程包含三个关键步骤：

• 指标汇聚：将多个维度的评估指标输入决策引擎，形成综合评分。
• 规则匹配：决策引擎根据预定义的“通过/回滚/继续观察”规则进行匹配。例如：若P99延迟超过阈值且持续30秒，则触发回滚。
• 动作执行：通过API调用流量分层网关，动态调整分流权重（如将候选模型流量从5%降至0%），或直接切换版本。

3.6 整体架构SVG图

下图展示了灰度回测四层架构的完整数据流与组件关系：

3.7 架构关键设计原则

在实际落地灰度回测架构时，需遵循以下设计原则：