📚 课程目录第3章特征平台架构

3. 特征平台架构：特征存储层、特征计算层、特征服务层、偏差校验模块的嵌入位置

金融风控特征平台通常采用分层架构设计，将特征的生产、存储、服务与质量监控解耦。偏差校验模块并非独立于三层之外，而是作为贯穿数据流与业务流的横向质量防线，嵌入到每一层的关键节点中。以下从架构分层与校验嵌入两个维度展开。

3.1 特征平台三层核心架构

标准特征平台由下至上分为存储层、计算层、服务层，每层承担不同的职责：

架构层	核心职责	典型组件	数据形态
特征存储层	离线/实时特征的持久化、版本管理、元数据索引	HBase、Redis、MySQL、Hive、Iceberg	宽表、键值对、特征快照
特征计算层	原始数据清洗、特征衍生、聚合计算、时间窗口逻辑	Spark、Flink、Hive SQL、Python UDF	中间表、特征视图、DAG 任务
特征服务层	在线高并发特征获取、特征路由、缓存加速、AB 实验	gRPC API、Redis 缓存、特征网关、SDK	请求-响应特征向量

架构要点：三层之间通过特征元数据中心（Feature Registry）统一管理特征定义、血缘关系与版本号，偏差校验模块依赖该元数据中心获取特征基线。

3.2 偏差校验模块的嵌入位置

偏差校验不是独立部署的“第四层”，而是以校验算子 + 监控管道的形式嵌入到三层的关键数据流节点中。下图展示了校验模块在架构中的具体嵌入位置：

3.3 各层校验的具体职责

偏差校验模块在每一层执行不同的校验逻辑，形成从数据生产到消费的完整校验链路：

存储层校验（校验①）：检测特征存储中的静态数据偏差，包括字段空值率突变、数值分布漂移（PSI/KS）、枚举值缺失、版本回退导致的特征断裂。
计算层校验（校验②）：监控特征计算过程中的逻辑偏差，如窗口聚合边界错误、空值传播导致特征失效、衍生逻辑与预期不符、跨任务血缘断裂。
服务层校验（校验③）：对比在线服务返回的特征值与离线计算的特征值，检测在线/离线一致性偏差（训练-推理 skew），以及缓存过期、特征路由错误导致的取值偏差。

  关键原则：偏差校验模块必须与特征元数据中心（Feature Registry）深度集成。校验规则从元数据中心读取特征基线（如期望分布、合法枚举值、空值率阈值），校验结果再写回元数据中心作为特征质量标签，形成闭环。

3.4 校验模块的部署形态与数据流

偏差校验模块通常以轻量级校验算子 + 事件驱动管道的方式部署，不阻塞主数据流：

部署形态	适用层	触发方式	典型延迟
离线批校验	存储层、计算层	T+1 定时调度	小时级
实时流校验	计算层（Flink）	数据事件触发	秒级
在线请求拦截校验	服务层	特征请求拦截	毫秒级（异步）
离线-在线对比校验	服务层 + 存储层	定时采样对比	分钟级

以下代码片段展示了一个嵌入在特征服务层的在线/离线一致性校验算子的核心逻辑：

class OnlineOfflineConsistencyChecker:
    """在线-离线特征一致性校验算子，嵌入特征服务层"""

    def __init__(self, registry_client, tolerance: float = 0.05):
        self.registry = registry_client
        self.tolerance = tolerance  # 允许的最大相对偏差

    def check(self, feature_name: str, online_value: float, offline_baseline: float) -> dict:
        """
        校验单个特征在线值与离线基线的偏差
        :return: 校验结果字典
        """
        if offline_baseline is None or offline_baseline == 0:
            return {"feature": feature_name, "status": "skip", "reason": "基线缺失"}

        relative_diff = abs(online_value - offline_baseline) / abs(offline_baseline)

        result = {
            "feature": feature_name,
            "online_value": online_value,
            "offline_baseline": offline_baseline,
            "relative_diff": round(relative_diff, 4),
            "status": "pass" if relative_diff <= self.tolerance else "fail",
            "timestamp": datetime.utcnow().isoformat()
        }

        if result["status"] == "fail":
            self._trigger_alert(result)

        return result

    def _trigger_alert(self, result: dict):
        """触发告警（写入消息队列或调用告警API）"""
        # 实际项目中可写入 Kafka 或调用钉钉/邮件 API
        print(f"[ALERT] 特征偏差超限: {result['feature']}, "
              f"偏差率={result['relative_diff']:.2%}")

避坑提示：偏差校验模块不要直接修改特征值或阻断主数据流。校验失败时应走异步告警通道，避免因校验逻辑自身故障导致特征服务不可用。建议为校验算子设置独立的超时熔断与降级策略。

3.5 偏差校验与三层架构的集成总结

将偏差校验模块嵌入特征平台三层架构后，形成以下集成关系：

存储层 → 校验模块：校验模块读取存储层特征快照，执行静态分布校验，结果写回元数据中心。
计算层 → 校验模块：校验模块订阅计算层 DAG 任务的事件总线，在特征产出节点执行逻辑校验。
服务层 → 校验模块：校验模块通过特征网关的拦截器或日志管道，获取在线特征值并与离线基线对比。
校验模块 → 全层：校验结果通过统一告警通道通知数据工程师与模型团队，驱动特征修复或模型重训。

这种嵌入方式使得偏差校验成为特征平台的原生能力，而非事后补丁，从而在金融风控场景中实现特征质量的持续保障。