4. 切片数据准备：数据源梳理、数据清洗规则、特征工程与衍生变量构建
人群切片效果评估的可靠性，高度依赖底层数据的质量与特征表达能力。本章聚焦于从原始数据到可用分析宽表的完整加工链路，涵盖数据源梳理、清洗规则制定、特征工程与衍生变量构建三个核心环节。
4.1 数据源梳理与接入清单
在开始切片评估前，需明确所需数据的来源、粒度与更新频率。常见数据源可归纳为以下四类：
| 数据源类别 | 典型表/接口 | 关键字段示例 | 更新频率 |
|---|---|---|---|
| 用户基础信息 | 用户注册表、实名认证表 | user_id、注册时间、年龄、性别、学历、职业 | T+1 |
| 信贷行为数据 | 授信表、支用表、还款计划表、逾期明细表 | 授信额度、已用额度、M0~M6+ 逾期天数、还款金额 | 实时 / T+1 |
| 交易与资金流 | 交易流水表、充值提现表 | 交易时间、交易金额、交易类型、对手方 | 实时 |
| 外部三方数据 | 征信报告、多头借贷、设备指纹 | 征信查询次数、多头平台数、设备关联风险等级 | T+1 / 周级 |
实践建议：建立数据源血缘关系图，标注每个字段的原始来源、加工链路与质量等级。对于缺失率超过 60% 的字段，在切片评估阶段应谨慎使用或直接剔除。
4.2 数据清洗规则
原始数据通常包含缺失值、异常值、重复记录与逻辑冲突。针对切片评估场景，清洗规则需兼顾 完整性 与 业务合理性。
4.2.1 缺失值处理策略
- 关键标识字段（如 user_id、loan_id）：缺失则直接剔除该条记录。
- 数值型特征（如收入、额度）：缺失率 < 5% 时用中位数填充；5%~30% 时用业务默认值（如收入填 0）；> 30% 时建议将该字段转为“是否缺失”的二元变量。
- 类别型特征（如职业、学历）：缺失率 < 10% 时用众数填充；否则新增“未知”类别。
4.2.2 异常值与逻辑校验
- 数值范围校验：年龄 < 18 或 > 100、授信额度为负数、逾期天数 > 合同期限 + 宽限期，均标记为异常并剔除。
- 时间逻辑校验：支用时间早于授信时间、还款时间早于支用时间，此类记录需回源确认或直接剔除。
- 重复记录去重：按主键（如 loan_id + 还款期次）去重，保留最新一条。
注意：切片评估的数据清洗应比模型开发阶段更严格。因为切片对比要求两组样本在数据质量上具有可比性，任何一方的异常数据都可能扭曲评估结论。
4.3 特征工程与衍生变量构建
原始字段往往无法直接用于切片效果评估，需要通过特征工程提取更具区分度的变量。衍生变量主要围绕 风险表现、行为模式 与 稳定性 三个维度展开。
4.3.1 风险表现类衍生变量
- 逾期状态变量：当前逾期天数、历史最大逾期天数、是否曾经逾期 30+。
- 滚动率变量：从 M0 滚动至 M1 的比率、从 M1 滚动至 M2 的比率。
- 损失类变量：核销金额、核销率、回收率。
4.3.2 行为模式类衍生变量
- 用信行为：近 3 个月支用次数、平均支用间隔、额度使用率（已用额度 / 授信额度）。
- 还款行为：近 6 个月提前还款次数、最低还款次数、还款金额波动率。
- 多头借贷：近 1 个月/3 个月/6 个月征信查询次数、当前在贷平台数。
4.3.3 稳定性与趋势类衍生变量
- 滑动窗口统计：近 3 个月平均消费金额、近 6 个月最大逾期天数。
- 趋势斜率：额度使用率在近 6 个月的变化斜率（正斜率表示用信加速）。
- 波动系数：还款金额的变异系数（CV = 标准差 / 均值），反映还款稳定性。
关键原则：衍生变量必须与切片定义对齐。例如，若切片维度是“首贷用户 vs 复贷用户”，则特征应侧重历史借贷行为差异；若切片维度是“高额度 vs 低额度”，则特征应侧重额度使用模式与还款能力。
4.4 特征工程流程总览
下图展示了从原始数据到切片评估宽表的完整特征工程链路：
4.5 特征筛选与质量评估
构建完成的特征需经过筛选才能进入切片评估模型。常用筛选方法包括：
| 筛选维度 | 指标 | 阈值建议 | 说明 |
|---|---|---|---|
| 缺失率 | 缺失比例 | < 30% | 超过 30% 的字段建议转为二元变量或剔除 |
| 方差 | 方差 / 标准差 | > 0.01 | 方差过小的特征区分能力弱 |
| IV 值 | 信息量 (Information Value) | > 0.02 | IV < 0.02 的特征预测能力极弱 |
| 相关性 | Pearson 相关系数 | < 0.8 | 高度相关的特征保留其一，避免多重共线性 |
效率提示：在切片评估场景中，特征数量建议控制在 20~50 个之间。过多特征容易导致过拟合，且增加计算成本。优先保留与切片目标直接相关的行为类与趋势类特征。
4.6 数据准备阶段的常见陷阱
- 未来信息泄露：使用切片评估时间点之后的数据来构建特征，导致评估结果虚高。解决方案：严格按时间窗口切分，训练集与测试集无时间重叠。
- 样本选择偏差：仅保留有完整数据的样本，忽略了缺失数据较多的高风险群体。解决方案：记录缺失模式，将缺失本身作为特征纳入模型。
- 特征与切片维度重叠：切片维度本身被作为特征输入，导致模型直接学习到切片标签。解决方案：在特征工程阶段剔除切片标识字段。