1. 风控特征体系概述
1.1 风控特征的定义
风控特征（Risk Control Feature）是从原始数据中提取、加工、构造的，用于描述用户、设备、行为、交易等实体在风险维度上属性的数值或类别变量。特征是风控模型与规则引擎的“燃料”，直接决定了风险识别能力的上限。
核心公式： 风控特征 = f(原始数据) → 风险区分度指标（IV、KS、PSI）
特征按数据来源与加工深度可分为三个层级：
| 层级 | 定义 | 示例 | 加工复杂度 |
|---|---|---|---|
| L1 原始特征 | 直接取自数据源，未经或仅做简单清洗 | 年龄、性别、设备型号、IP 地址 | 低 |
| L2 衍生特征 | 基于原始特征通过统计、聚合、交叉计算得到 | 近 30 天申请次数、月均消费金额、设备关联用户数 | 中 |
| L3 模型特征 | 通过机器学习模型（如 GBDT、AutoEncoder）生成的嵌入或分数 | 信用评分子模型输出、图嵌入向量、异常重构误差 | 高 |
1.2 特征在信贷与反欺诈中的作用
特征在信贷风控与反欺诈场景中承担不同的角色，但核心目标一致：最大化区分好用户与坏用户。
| 场景 | 核心目标 | 典型特征类型 | 特征示例 |
|---|---|---|---|
| 信贷审批 | 评估还款意愿与还款能力 | 收入类、负债类、信用历史类 | 月收入、负债率、征信查询次数、逾期天数 |
| 反欺诈 | 识别虚假身份、团伙攻击、设备篡改 | 设备指纹类、行为序列类、关系网络类 | 设备关联用户数、IP 聚集度、操作速度异常分 |
| 贷后管理 | 预测逾期风险、提前干预 | 还款行为类、外部数据类 | 近 7 天还款延迟次数、多头借贷指数 |
| 额度定价 | 差异化授信与利率 | 收入稳定性类、消费偏好类 | 收入波动率、消费类目熵、公积金缴纳时长 |
实战经验： 反欺诈场景中，设备关联用户数 和 IP 聚集度 是识别团伙欺诈的“黄金特征”，在 Spark 批处理中可通过 groupBy + agg 高效计算。
1.3 特征生命周期管理
特征不是一次性产物，需要像软件一样进行全生命周期管理。一个完整的特征生命周期包含以下阶段：
- 需求分析 — 业务方提出风险识别需求，明确特征口径与计算频率
- 特征开发 — 数据探查、特征工程、Spark 批处理脚本编写
- 特征验证 — 区分度（IV）、稳定性（PSI）、覆盖率、缺失率评估
- 特征上线 — 注册到特征平台，配置调度任务，写入在线/离线存储
- 特征监控 — 每日/每周监控特征分布漂移、空值率、延迟
- 特征退役 — 因业务变更或效果下降，下线并清理存储
1.4 特征管理的关键指标
在特征生命周期中，以下三个指标是评估特征质量的“铁三角”：
| 指标 | 全称 | 计算公式 | 阈值参考 | 监控频率 |
|---|---|---|---|---|
| IV | Information Value | Σ(好占比 - 坏占比) × ln(好占比/坏占比) | < 0.02 无效，0.02~0.1 弱，0.1~0.3 中，> 0.3 强 | 上线前 / 月度 |
| PSI | Population Stability Index | Σ(实际占比 - 预期占比) × ln(实际占比/预期占比) | < 0.1 稳定，0.1~0.25 需关注，> 0.25 异常 | 每日 / 每周 |
| 覆盖率 | Coverage Rate | 非空样本数 / 总样本数 × 100% | ≥ 95% 优秀，80%~95% 可接受，< 80% 预警 | 每日 |
常见陷阱： 特征上线后只关注 IV 而忽略 PSI，可能导致模型在线上快速衰减。建议在 Spark 批处理中同时输出 IV 与 PSI 监控报表，实现“上线即监控”。
1.5 特征分层与 Spark 批处理的关联
本课程的核心思路是将特征分层体系与 Spark 批处理能力深度结合：
- L1 原始特征 — 使用 Spark SQL 直接读取 Hive/ODS 表，做简单过滤与类型转换
- L2 衍生特征 — 使用 DataFrame API 的 groupBy、window、agg 实现滑动窗口聚合与交叉统计
- L3 模型特征 — 使用 Spark MLlib 或 Pandas UDF 加载预训练模型进行批量推理