4、特征生产流水线：特征计算逻辑、特征ETL流程、特征质量监控与回溯
在额度定价决策链路中，特征生产流水线是连接原始数据与模型推理的核心工程环节。本章聚焦于特征从计算、清洗、存储到质量保障的完整生产流程，确保上游特征数据在时效性、准确性和一致性上满足API发布要求。
4.1 特征计算逻辑
特征计算逻辑定义了如何从原始数据源（如交易流水、用户画像、外部征信）加工出模型可用的数值或类别特征。根据计算复杂度与时效性要求，通常分为三类：
| 计算类型 | 典型场景 | 计算窗口 | 存储介质 |
|---|---|---|---|
| 实时计算 | 近30天交易总额、当前负债率 | 秒级～分钟级 | Redis / Flink状态后端 |
| 准实时计算 | 近7天最大逾期天数、近1小时查询次数 | 分钟级～小时级 | HBase / ClickHouse |
| 离线批量计算 | 近12个月收入稳定性、行业风险标签 | T+1 或更长 | Hive / Parquet |
工程建议：额度定价场景中，实时特征应控制在总特征数的20%以内，避免因计算延迟导致API响应超时。准实时与离线特征可通过预计算+缓存策略降低在线推理压力。
4.2 特征ETL流程
特征ETL（Extract, Transform, Load）是将原始数据转化为标准化特征的核心流水线。一个完整的特征ETL流程包含以下阶段：
- 数据抽取（Extract）：从Kafka、MySQL Binlog、外部API等源拉取增量或全量数据，确保数据完整性。
- 数据清洗（Clean）：处理缺失值、异常值、重复记录，统一时间戳格式与单位。
- 特征变换（Transform）：执行聚合、分箱、归一化、编码等逻辑，生成最终特征值。
- 特征加载（Load）：将特征写入在线特征存储（如Feast、Redis）或离线数仓，并更新特征元数据。
4.3 特征质量监控
特征质量直接决定模型推理的稳定性。生产环境中必须建立多维度的监控体系，覆盖以下关键指标：
- 完整性：特征缺失率是否超过阈值（如 >5% 触发告警）。
- 时效性：特征更新延迟是否超过SLA（如实时特征延迟 >10秒）。
- 分布漂移：特征值分布与基线相比是否发生显著变化（PSI > 0.1）。
- 异常值：特征值是否超出业务合理范围（如负债率 > 100%）。
- 一致性：在线特征与离线特征在同一时间点的值是否对齐。
- 确定回溯时间范围：根据业务需求选择回溯窗口（如近30天、近90天）。
- 拉取原始数据快照：从离线数仓或日志存储中获取对应时间点的原始数据。
- 执行特征计算：使用与生产环境相同的特征计算逻辑（版本化）重新生成特征值。
- 比对与校验：将回溯结果与线上特征存储中的历史值进行交叉验证，确保一致性。
- 写入特征存储：将校验通过的回溯特征写入离线或在线特征表，并记录回溯版本号。
常见陷阱：仅监控特征缺失率而忽略特征值分布漂移，可能导致模型在无告警情况下性能持续下降。建议将PSI（Population Stability Index）作为核心监控指标之一。
4.4 特征回溯
特征回溯是指对历史时间点的特征值进行重新计算或补录，常用于模型训练样本构建、A/B测试效果复盘以及线上问题排查。特征回溯流程包含以下步骤：
最佳实践：特征回溯应作为独立服务部署，与在线特征生产流水线解耦。每次回溯操作需记录执行日志与版本号，便于后续审计与问题追溯。建议每月执行一次全量特征回溯，用于模型训练样本的定期刷新。
4.5 流水线版本管理与发布
特征生产流水线需要像软件代码一样进行版本管理。推荐使用以下策略：
| 版本元素 | 管理方式 | 示例 |
|---|---|---|
| 特征计算逻辑 | Git 仓库 + Docker 镜像标签 | feature-compute:v2.3.1 |
| ETL 配置 | YAML 配置文件 + 版本号 | etl-config-v2.3.1.yaml |
| 特征元数据 | 特征注册中心（如 Feast） | feature:total_loan_30d:2 |
| 质量监控规则 | 规则引擎 + 生效时间戳 | rule:missing_rate:2025-01-01 |
通过上述版本管理机制，可以快速回滚有问题的特征版本，并确保模型训练与线上推理使用同一套特征逻辑，避免“训练-推理偏差”。