特征工程基础：特征工程的定义、特征与标签的关系、特征质量对模型的影响
1. 特征工程的定义
特征工程（Feature Engineering）是将原始数据转化为能够更有效表示业务问题、并被机器学习模型理解的特征向量的过程。在KYC（Know Your Customer）场景中，原始数据通常包括身份信息、交易流水、设备指纹、行为日志等非结构化或半结构化数据，特征工程的目标是从中提取出能够区分正常客户与风险客户的数值化表达。
核心定义：特征工程 = 数据领域的知识 + 特征变换技术 + 业务逻辑约束。它不是单纯的数据处理，而是将业务理解转化为模型可学习的数学语言。
特征工程通常包含以下关键步骤：
- 特征构建（Feature Construction）：从原始数据中手动或自动创建新特征，如从身份证号提取年龄、地域代码。
- 特征变换（Feature Transformation）：对特征进行缩放、离散化、非线性变换，使其符合模型假设。
- 特征选择（Feature Selection）：从候选特征集中筛选出对目标变量最有解释力的子集。
- 特征编码（Feature Encoding）：将类别型、文本型、时序型数据转换为数值向量。
2. 特征与标签的关系
在监督学习中，特征（Feature）与标签（Label）构成模型学习的基本单元。特征描述样本的属性，标签定义样本的类别或目标值。在KYC场景中，标签通常是“是否通过KYC审核”、“风险等级”、“欺诈概率”等业务结果。
| 维度 | 特征（Feature） | 标签（Label） |
|---|---|---|
| 定义 | 样本的可观测属性，如年龄、交易金额、登录频次 | 样本的真实结果或类别，如“通过/拒绝”、“欺诈/正常” |
| 数据类型 | 数值型、类别型、文本型、时序型、图结构 | 二分类、多分类、连续值 |
| 获取难度 | 相对容易，可从原始数据直接提取 | 困难，通常需要人工标注、业务规则或事后验证 |
| 在KYC中的角色 | 描述客户行为、身份、关联关系 | 定义风险结果，是模型优化的目标 |
| 质量影响 | 决定模型的上限 | 决定模型的方向是否正确 |
KYC实践要点：标签的定义必须与业务风险策略对齐。例如，“KYC拒绝”标签应区分“资料不全拒绝”与“高风险拒绝”，否则模型会学到错误的拒绝模式。特征与标签之间的时间窗口对齐也至关重要——特征必须取自标签发生之前的数据，避免未来信息泄露。
特征与标签的关系可以用以下公式表达：
Y = f(X) + ε
其中：
- Y：标签（目标变量），如欺诈标签（1/0）
- X：特征向量，如 [年龄, 交易金额, 登录次数, 设备风险分]
- f：模型学习到的映射函数
- ε：不可解释的噪声项特征工程的目标是找到最优的X表达，使得f能够以最小的误差逼近真实业务规律。特征与标签之间的相关性越强、越稳定，模型在KYC审核中的泛化能力就越强。
3. 特征质量对模型的影响
特征质量直接决定KYC模型的性能上限。高质量特征能够提升模型的区分能力、稳定性和可解释性；低质量特征则会导致模型过拟合、欠拟合或业务失效。
3.1 特征质量的评估维度
| 质量维度 | 定义 | 对KYC模型的影响 | 常见问题 |
|---|---|---|---|
| 相关性 | 特征与标签之间的统计关联强度 | 低相关特征降低模型区分能力，高相关特征提升AUC | 引入无关特征（如客户ID）导致噪声 |
| 稳定性 | 特征分布随时间变化的程度 | 不稳定特征导致模型在跨时间验证时效果骤降 | 节假日交易模式变化未被捕捉 |
| 完整性 | 特征缺失值的比例和模式 | 高缺失率特征导致样本量减少或引入偏差 | 部分客户未填写职业信息 |
| 可解释性 | 特征的业务含义是否清晰 | 低可解释性特征难以通过合规审计 | 深度交叉特征无法向监管解释 |
| 区分度 | 特征在不同标签类别上的分布差异 | 低区分度特征无法有效分离风险客户 | 所有客户年龄集中在25-30岁 |
3.2 特征质量问题的典型后果
- 过拟合：使用高方差、低稳定性的特征（如特定时间段的登录IP），模型在训练集表现优异，但在新客户上失效。
- 欠拟合：特征过于简单或信息量不足（仅使用年龄和性别），模型无法捕捉复杂欺诈模式。
- 偏差放大：特征中存在系统性偏差（如某地区数据采集不全），模型对该地区客户的预测产生系统性错误。
- 合规风险：使用敏感特征（如种族、宗教）或无法解释的黑盒特征，违反KYC监管要求。
KYC场景警示：特征质量不仅影响模型指标，更直接影响客户体验和监管合规。一个因特征缺失导致误拒的优质客户，可能永久流失；一个因特征区分度不足而漏过的欺诈客户，可能造成重大资金损失。特征质量评估应作为KYC模型上线前的强制检查项。
3.3 特征质量提升的实践方法
- 业务驱动构建：与风控业务专家合作，识别对风险有直接解释力的特征，如“短时间内多次修改个人信息”比“总登录次数”更具欺诈指示性。
- 缺失值处理策略：根据缺失机制（随机缺失、非随机缺失）选择填充、删除或单独编码为“未知”类别。
- 稳定性监控：使用PSI（Population Stability Index）定期监控特征分布漂移，当PSI > 0.1时触发特征重评估。
- 特征筛选：结合统计检验（卡方检验、互信息）和模型重要性（XGBoost feature importance）进行多轮筛选。
- 可解释性增强：对复杂特征进行拆解，确保每个特征都能用业务语言描述，如“设备指纹风险分”应拆解为“模拟器检测分+代理IP检测分+设备篡改检测分”。