4、灰度策略设计：用户维度灰度、地域维度灰度、模型版本维度灰度、随机百分比灰度

灰度策略是模型服务从开发环境平滑过渡到生产环境的控制核心。合理的灰度策略能够将新模型版本的风险暴露范围控制在可接受区间，同时收集足够的线上反馈用于回测评估。本章详细拆解四种基础灰度维度及其组合设计方法。

4.1 灰度策略维度总览

四种灰度维度分别从不同角度控制流量分配，实际生产中通常采用多维度组合策略。下表对比了各维度的核心特征与适用场景：

4.2 用户维度灰度

用户维度灰度是最精细、最安全的灰度方式。通过将特定用户或用户组路由到新模型版本，实现精准的定向验证。

4.2.1 实现方式

• 白名单模式：维护一个用户ID列表，匹配列表的用户请求全部路由到灰度版本。
• 用户分组模式：基于用户画像（如会员等级、注册时间、活跃度）将用户划分为A/B组，A组使用基线版本，B组使用灰度版本。
• Cookie/Session标记：在用户会话中注入灰度标记，后续请求根据标记路由。

4.2.2 路由规则示例

# 用户维度灰度路由规则（伪代码）
def route_by_user(user_id, request):
    # 白名单优先匹配
    if user_id in WHITELIST_USERS:
        return GRAY_VERSION
    
    # 用户分组匹配
    user_group = get_user_group(user_id)
    if user_group == "group_b":
        return GRAY_VERSION
    
    # 默认路由到基线版本
    return BASELINE_VERSION

4.3 地域维度灰度

地域维度灰度常用于验证模型在不同网络环境、数据中心或合规区域下的表现。通过限制灰度版本仅在特定地域生效，降低全局影响。

4.3.1 地域划分策略

4.3.2 地域灰度路由逻辑

# 地域维度灰度路由规则（伪代码）
def route_by_region(request):
    region_code = get_region_from_ip(request.remote_ip)
    
    # 灰度地域列表
    gray_regions = ["shanghai", "beijing", "shenzhen"]
    
    if region_code in gray_regions:
        return GRAY_VERSION
    else:
        return BASELINE_VERSION

4.4 模型版本维度灰度

模型版本维度灰度是模型迭代中最核心的灰度策略。它直接控制不同模型版本之间的流量分配比例，支持A/B测试、金丝雀发布、蓝绿部署等多种模式。

4.4.1 版本路由策略

• 金丝雀发布：新版本（canary）承载小比例流量，稳定后逐步提升比例直至全量。
• A/B测试：两个或多个版本同时在线，按固定比例分流，对比业务指标。
• 蓝绿部署：两个完整环境（蓝/绿）交替切换，流量瞬间迁移。

4.4.2 版本权重配置

# 模型版本灰度权重配置（YAML格式）
model_routing:
  versions:
    - name: "v2.0.0-canary"
      weight: 5      # 5% 流量
      tags: ["canary", "new-architecture"]
    - name: "v1.9.9-stable"
      weight: 95     # 95% 流量
      tags: ["stable", "production"]
  fallback: "v1.9.9-stable"

4.5 随机百分比灰度

随机百分比灰度是最直接的流量控制方式，不依赖用户属性或地域信息，仅通过随机算法决定请求路由。适用于快速验证模型容量、性能基线或全局影响评估。

4.5.1 实现机制

• 哈希取模：对请求ID或用户ID进行哈希，取模后与灰度百分比比较。
• 概率采样：使用随机数生成器，以概率 p 决定是否路由到灰度版本。
• 滑动窗口计数：在时间窗口内统计灰度流量比例，动态调整路由决策。

4.5.2 哈希取模实现示例

# 随机百分比灰度 - 哈希取模实现
import hashlib

def route_by_percentage(request_id, gray_percent=10):
    # 使用MD5哈希将请求ID映射到0-99
    hash_val = int(hashlib.md5(request_id.encode()).hexdigest(), 16) % 100
    if hash_val < gray_percent:
        return GRAY_VERSION
    return BASELINE_VERSION

4.6 多维度组合灰度策略

单一灰度维度往往无法满足复杂生产环境的需求。实际工程中，通常将多个维度组合使用，形成分层灰度策略。下图展示了一种典型的多维度组合灰度架构：

4.6.1 组合策略优先级

多维度组合时，需要明确各维度的优先级顺序。通常采用"先定向、后随机"的原则：

1. 用户维度（最高优先级）：白名单用户或特定分组直接路由到灰度版本，不受后续规则影响。
2. 地域维度：非灰度地域的请求直接路由到基线版本，不再参与后续随机采样。
3. 模型版本维度：根据版本权重分配流量，确定候选版本。
4. 随机百分比（最低优先级）：在剩余流量中按比例采样，决定最终路由。

4.6.2 组合策略配置示例

# 多维度组合灰度配置
gray_strategy:
  name: "v2.0.0-progressive-rollout"
  dimensions:
    - type: "user"
      rules:
        - action: "direct_to_gray"
          users: ["uid_1001", "uid_1002", "uid_1003"]
        - action: "skip_gray"
          groups: ["internal_test"]
    - type: "region"
      rules:
        - action: "allow_gray"
          regions: ["shanghai", "beijing"]
        - action: "deny_gray"
          regions: ["overseas"]
    - type: "version"
      rules:
        - version: "v2.0.0-canary"
          weight: 10
        - version: "v1.9.9-stable"
          weight: 90
    - type: "percentage"
      rules:
        - sample_rate: 5  # 最终只有5%的合格流量进入灰度

4.7 灰度策略验证与回滚

灰度策略设计完成后，必须经过验证才能上线。验证要点包括：

• 流量比例准确性：使用压测工具模拟请求，验证实际灰度比例与配置一致。
• 用户亲和性：检查同一用户是否始终路由到同一版本。
• 地域隔离性：确认非灰度地域的请求不会误入灰度版本。
• 回滚时效性：测试灰度策略回滚操作，确保能在分钟级内完成全量回退。