3. 数据质量与特征工程：商户基础信息、交易流水特征、外部征信数据、特征衍生与分箱方法
商户风险评分模型的预测能力高度依赖输入数据的质量与特征工程的有效性。本章聚焦于数据清洗、多源数据整合、特征衍生与分箱技术，确保模型输入具备稳定性、区分度与业务可解释性。
3.1 数据质量治理框架
在特征工程之前，必须对原始数据进行系统性质量评估。低质量数据会直接导致模型偏差与策略失效。数据质量治理遵循以下四个维度：
| 维度 | 检查项 | 常见问题 | 处理策略 |
|---|---|---|---|
| 完整性 | 缺失率、空值占比 | 商户注册信息缺失、交易流水断档 | 缺失率 > 70% 的字段直接剔除；其余字段采用均值/中位数/行业众数填充 |
| 准确性 | 异常值、逻辑校验 | 交易金额为负、注册日期晚于当前日期 | 设定业务阈值截断；逻辑矛盾记录标记为可疑样本 |
| 一致性 | 跨源字段对齐 | 外部征信与内部数据商户ID不匹配 | 建立统一商户主键映射表，按时间戳对齐 |
| 时效性 | 数据新鲜度 | 外部征信数据滞后超过3个月 | 设置数据有效期标签，过期数据降权或剔除 |
实践要点： 建议在数据接入层建立自动化质量监控看板，每日统计各字段缺失率与异常值比例，当缺失率连续3日超过5%时触发告警，避免模型使用劣化数据。
3.2 商户基础信息特征
商户基础信息是风险画像的底层数据，通常来源于入驻审核环节。核心特征包括：
- 经营资质类： 注册年限、注册资本、企业类型（个体工商户/有限责任公司）、经营范围与行业代码。
- 法人信息类： 法人年龄、法人关联企业数量、法人征信逾期次数。
- 地理位置类： 经营地址与注册地址一致性、所在城市等级（一线/二线/下沉市场）、商圈类型。
- 平台行为类： 入驻渠道（自然流量/广告/邀请）、历史申诉次数、客服投诉率。
基础信息特征通常以名义变量或有序变量形式入模，需进行独热编码或标签编码处理。
3.3 交易流水特征
交易流水是反映商户经营状况最直接的动态数据。特征提取需覆盖时间窗口、交易形态与异常模式三个维度。
| 特征类别 | 具体特征 | 计算窗口 |
|---|---|---|
| 交易规模 | 日均交易金额、日均交易笔数、单笔最大金额 | 近7天/30天/90天 |
| 交易稳定性 | 交易金额变异系数、交易笔数标准差、周末与工作日交易比 | 近30天 |
| 交易趋势 | 交易金额环比增长率、同比增长率、交易笔数移动平均斜率 | 近3个月 vs 去年同期 |
| 异常交易 | 深夜交易占比（0:00-5:00）、整数金额交易占比、退款率、频繁小额测试交易 | 近7天 |
关键指标： 退款率（Refund Rate）是识别虚假交易与套现行为的高区分度特征。当商户退款率超过行业均值2个标准差时，风险等级显著上升。
3.4 外部征信数据
外部征信数据用于补充内部数据盲区，常见来源包括：
- 央行征信/百行征信： 法人个人征信报告中的逾期记录、查询次数、负债率。
- 工商司法数据： 企业行政处罚、经营异常名录、法律诉讼、被执行人信息。
- 多头借贷数据： 商户法人或企业在多个平台的借贷申请次数、当前未结清贷款笔数。
- 黑名单库： 行业共享的欺诈商户名单、失联名单、高风险关联企业名单。
外部数据需注意授权合规与数据更新频率，建议建立外部数据评分卡，将多源数据转化为统一的信用分数或风险等级标签。
3.5 特征衍生方法
特征衍生是从原始特征中创造更高预测能力的新特征。常用方法包括：
- 统计聚合衍生： 对交易流水按商户维度进行分组聚合，计算均值、最大值、最小值、分位数、偏度、峰度。
- 时间序列衍生： 滞后特征（T-1, T-7, T-30）、滚动窗口统计（滚动均值、滚动标准差）、差分特征（环比变化量）。
- 比率特征： 交易金额/注册资本、退款金额/交易金额、夜间交易笔数/总笔数。
- 交叉特征： 行业代码 × 交易金额分箱、城市等级 × 注册年限。
- 外部数据拼接： 将外部征信评分与内部交易特征进行笛卡尔积或加权融合。
避坑提示： 特征衍生应避免“数据泄露”。例如，使用未来时间窗口的交易数据衍生特征会导致模型在训练时“看到未来”，在线上部署时性能大幅下降。所有时间窗口必须严格限定在预测时间点之前。
3.6 特征分箱方法
特征分箱将连续变量离散化，提升模型对非线性关系的拟合能力，同时增强业务可解释性。常用分箱方法对比如下：
| 分箱方法 | 原理 | 适用场景 | 优点 | 缺点 |
|---|---|---|---|---|
| 等距分箱 | 按数值区间等宽划分 | 分布均匀的连续变量 | 实现简单，易于理解 | 对异常值敏感，箱内样本可能不均 |
| 等频分箱 | 按样本数量等频划分 | 长尾分布变量 | 每箱样本量均衡 | 边界值可能不直观 |
| 决策树分箱 | 利用单变量决策树寻找最优切分点 | 与目标变量有明确非线性关系 | 自动捕捉最佳切分点 | 容易过拟合，需限制树深度 |
| 卡方分箱 | 基于卡方检验合并相邻区间 | 分类目标变量 | 保证箱内与目标变量独立性 | 计算复杂度较高 |
| 业务经验分箱 | 依据行业标准或风控规则划分 | 有明确业务阈值的变量 | 可解释性最强 | 可能忽略数据内在分布 |
推荐实践： 在风控场景中，优先使用决策树分箱或卡方分箱，然后结合业务经验对边界值进行微调。分箱后需计算每个箱体的坏账率（Bad Rate），确保单调性——即随着风险评分升高，坏账率应单调递增或递减。
3.7 特征工程整体流程
下图展示了从原始数据到模型输入特征的标准处理流程：
3.8 特征筛选与稳定性监控
特征衍生与分箱完成后，需进行特征筛选，剔除冗余与低贡献特征。常用筛选标准包括：
- 缺失率： 缺失率 > 70% 的特征直接剔除。
- 方差阈值： 方差接近0的特征（几乎为常数）剔除。
- 相关性分析： 特征间相关系数 > 0.8 时，保留与目标变量相关性更高的特征。
- IV值（信息量）： IV < 0.02 的特征视为无预测能力，建议剔除；IV > 0.3 的特征需关注过拟合风险。
- PSI（群体稳定性指标）： 监控特征在训练集与验证集/线上样本之间的分布偏移，PSI > 0.25 的特征需重新分箱或剔除。
稳定性优先原则： 在风控场景中，特征的稳定性（PSI）比区分度（IV）更重要。一个高IV但PSI不稳定的特征，在客群漂移时会导致模型性能急剧下降。建议每月计算一次特征PSI，建立特征稳定性看板。
3.9 特征工程常见陷阱与应对
| 陷阱 | 表现 | 应对措施 |
|---|---|---|
| 数据泄露 | 训练集AUC极高，线上效果差 | 严格按时间序列划分训练/验证集；禁止使用未来信息 |
| 过拟合衍生 | 衍生特征过多导致模型泛化能力下降 | 限制衍生特征数量（建议不超过原始特征数的3倍）；使用L1正则化 |
| 分箱边界漂移 | 线上数据分布变化导致分箱边界失效 | 定期（季度）重算分箱边界；使用自适应分箱方法 |
| 外部数据质量波动 | 外部征信数据源临时中断或更新延迟 | 建立数据源备用通道；设置特征可用性开关 |
特征工程是商户风险评分模型构建中最耗时但最具价值的环节。扎实的数据质量治理与科学的特征衍生分箱策略，能够显著提升模型区分度与稳定性，为后续策略调优奠定坚实基础。