3、特征生命周期管理:特征定义、特征注册、特征版本控制、特征下线与废弃的全流程管理规范
特征生命周期管理是金融批流一体特征平台的基石。一个特征从业务构思到最终废弃,需要经历定义、注册、版本控制、上线、监控、下线与废弃六个核心阶段。缺乏规范的生命周期管理,将导致特征重复建设、口径不一致、血缘断裂以及存储资源浪费。本章将详细阐述每个阶段的管理规范与最佳实践。
3.1 特征定义与元数据规范
特征定义是生命周期管理的起点。每个特征在创建前必须完成严格的元数据声明,确保特征可理解、可发现、可复用。
| 元数据字段 | 说明 | 示例 |
|---|---|---|
| 特征名称 | 全局唯一标识,采用蛇形命名法 | user_30d_transaction_amt_avg |
| 特征域 | 所属业务主题域 | 用户域、交易域、风险域 |
| 特征类型 | 连续型、离散型、文本型、向量型 | 连续型 |
| 数据源 | 原始数据表或流主题 | ods.trade_record |
| 计算逻辑 | SQL 或 Python 表达式 | AVG(amount) OVER (PARTITION BY user_id ORDER BY event_time ROWS BETWEEN 30 DAY PRECEDING AND CURRENT ROW) |
| 产出时效 | T+1、小时级、实时 | 实时 |
| 负责人 | 特征 Owner 团队或个人 | 风控算法组 |
最佳实践:特征定义阶段应强制进行特征冲突检测。平台自动校验新定义的特征名称、计算逻辑是否与已注册特征重复或相似,避免同一业务含义的特征被不同团队重复建设。
3.2 特征注册与上线审批
特征定义完成后,需通过特征注册中心进行注册。注册中心是特征的唯一入口,负责存储元数据、生成特征 ID、并触发上线审批流程。
- 提交注册申请:特征 Owner 填写完整元数据,提交至注册中心。
- 元数据校验:平台自动检查必填字段完整性、命名规范、SQL 语法正确性。
- 审批流程:由特征治理委员会或数据架构师进行人工审批,评估特征的必要性、复用性及对现有系统的影响。
- 特征 ID 生成:审批通过后,注册中心分配全局唯一的特征 ID(如
feat_20250301_001)。 - 存储与索引:元数据写入特征目录,支持按名称、域、类型、负责人等多维度检索。
关键指标:特征注册到上线平均耗时应控制在 2 小时 以内(含审批),自动化校验通过率目标 > 95%。
3.3 特征版本控制
特征在持续迭代过程中,必须遵循严格的版本控制规范。版本控制不仅管理特征计算逻辑的变更,还管理特征存储格式、产出时效等元数据的变化。
3.3.1 版本号规范
采用 语义化版本 格式:MAJOR.MINOR.PATCH
- MAJOR:不兼容的变更,如计算逻辑重写、输入源变更、特征语义变化。
- MINOR:向下兼容的功能性新增,如增加新的聚合窗口、新增衍生字段。
- PATCH:向下兼容的缺陷修复或性能优化,如修复空指针异常、优化存储格式。
3.3.2 版本分支策略
特征版本与模型版本解耦,但需建立映射关系。每个特征版本发布时,自动生成快照,并记录该版本对应的模型版本范围。
# 特征版本与模型版本映射表示例
特征 ID: feat_user_credit_score
| 特征版本 | 发布说明 | 兼容模型版本范围 | 发布时间 |
|----------|--------------------|----------------------|------------|
| v1.0.0 | 初始版本 | model_risk_v1 - v2 | 2025-01-10 |
| v1.1.0 | 新增 90 天窗口 | model_risk_v2 - v3 | 2025-02-15 |
| v2.0.0 | 切换数据源至实时流 | model_risk_v3+ | 2025-03-01 |
避坑指南:严禁在未通知下游模型的情况下直接覆盖特征计算逻辑。所有 MAJOR 版本变更必须提前至少 1 个发布周期 通知所有消费方,并提供并行运行期以验证新版本效果。
3.4 特征下线与废弃
特征下线是生命周期管理的收尾环节,也是最容易被忽视的环节。不规范的下线会导致存储泄漏、模型推理异常或数据血缘断裂。
3.4.1 下线流程
- 下线申请:特征 Owner 提交下线申请,注明下线原因(如模型废弃、特征失效、被新特征替代)。
- 依赖分析:平台自动扫描特征血缘图,识别所有下游模型、报表、API 调用方。
- 通知与确认:向所有下游消费方发送下线通知,要求确认是否已停止使用该特征。
- 灰度下线:特征进入 “待废弃” 状态,保留数据但停止写入新值,持续观察 1-2 个业务周期。
- 正式废弃:确认无异常后,特征标记为 “已废弃”,元数据保留但数据存储可被回收。
3.4.2 数据保留策略
| 特征状态 | 元数据保留 | 在线存储保留 | 离线存储保留 |
|---|---|---|---|
| 活跃 | 永久 | 按 TTL 配置 | 按 TTL 配置 |
| 待废弃 | 永久 | 保留 30 天 | 保留 90 天 |
| 已废弃 | 永久(标记) | 立即清理 | 保留 180 天后清理 |
审计要求:所有下线与废弃操作必须记录操作人、时间、原因及审批记录,满足金融合规审计要求。已废弃特征的元数据应保留至少 3 年。
3.5 全流程管理规范总览
下图展示了特征从定义到废弃的完整生命周期流转,以及各阶段的关键管控节点。
3.6 生命周期管理工具链
为支撑上述全流程规范,平台需配套以下工具与组件:
- 特征目录(Feature Catalog):元数据存储与检索,支持血缘追踪。
- 特征注册中心(Feature Registry):提供注册、审批、版本管理 API。
- 特征监控看板:实时展示特征质量、延迟、调用量、存储水位。
- 自动化依赖分析引擎:扫描特征血缘图,识别下线影响范围。
- 数据清理调度器:根据保留策略自动清理已废弃特征数据。
总结:特征生命周期管理的核心目标是“可追溯、可复用、可治理”。通过规范的定义、严格的版本控制、自动化的依赖分析以及合规的下线流程,金融特征平台能够有效降低重复建设成本,保障模型推理稳定性,并满足监管审计要求。