2、坏样本数据采集：数据源识别（内部、外部）、数据采集规范、数据质量初筛
坏样本归因的起点是数据采集。如果采集阶段引入偏差或噪声，后续所有归因分析都会失真。本章聚焦三个核心环节：数据源识别（区分内部与外部数据）、数据采集规范（标准化流程与字段定义）、数据质量初筛（快速过滤无效与低质样本）。
2.1 数据源识别：内部与外部数据
坏样本数据源可分为内部数据与外部数据两大类。内部数据通常具有高可控性、低延迟、强关联性；外部数据则用于补充信息维度、交叉验证或识别新型欺诈模式。下表对比两类数据源的核心特征：
| 维度 | 内部数据 | 外部数据 |
|---|---|---|
| 来源 | 自有业务系统、日志、数据库 | 第三方征信、黑名单、行业共享、公开数据 |
| 可控性 | 高（可自定义采集字段与频率） | 低（依赖供应商接口与数据质量） |
| 延迟 | 实时或准实时 | T+1 或更高延迟 |
| 覆盖范围 | 仅限本平台用户行为 | 跨平台、跨行业信息 |
| 典型字段 | 注册时间、登录IP、设备指纹、交易金额、历史逾期 | 多头借贷、法院执行、黑名单命中、身份核验 |
| 主要风险 | 数据孤岛、字段缺失、埋点错误 | 数据时效性差、接口不稳定、合规风险 |
实践建议：内部数据是坏样本归因的基石，优先保证内部采集的完整性与准确性。外部数据作为补充验证，避免过度依赖单一外部源。
下图展示内部与外部数据在坏样本采集中的协同关系：
2.2 数据采集规范
数据采集规范是保证坏样本一致性与可复现性的基础。规范缺失会导致字段歧义、格式混乱、时间戳错位等问题，直接破坏归因分析的可信度。以下为数据采集规范的核心要素：
- 字段定义标准化：每个字段必须有明确的业务含义、数据类型、取值范围、缺失值处理规则。例如“逾期天数”需定义是否包含宽限期、是否按自然日计算。
- 时间戳统一：所有事件时间戳统一使用 UTC+8 或明确标注时区，精度精确到毫秒，避免因时区转换导致归因错位。
- 采集频率与触发条件：明确是实时采集、定时批量采集还是事件触发采集。对于坏样本，建议采用事件触发+实时采集，减少延迟。
- 版本管理：每次采集字段变更或逻辑调整，必须记录版本号与变更日志，便于回溯历史数据。
- 异常处理机制：定义采集失败时的重试策略、超时阈值、降级方案（如使用默认值或跳过该条记录并记录日志）。
采集规范检查清单示例：
字段名：user_id
类型：string
长度：32
必填：是
缺失处理：丢弃整条记录
备注：用户唯一标识，不可为空
字段名：event_time
类型：datetime
格式：yyyy-MM-dd HH:mm:ss.SSS
时区：UTC+8
必填：是
缺失处理：使用采集服务器时间填充并标记
字段名：device_fingerprint
类型：string
长度：128
必填：否
缺失处理：标记为 "unknown" 并记录日志2.3 数据质量初筛
数据质量初筛是坏样本采集后的第一道防线。目标是在进入归因分析前，快速识别并过滤掉明显无效、错误或低质量的样本。初筛通常采用规则引擎或轻量级统计方法，避免过早引入复杂模型。
初筛维度与对应规则如下表：
| 质量维度 | 检查规则 | 处理方式 |
|---|---|---|
| 完整性 | 关键字段（用户ID、时间戳、标签）是否为空 | 丢弃或标记为缺失样本 |
| 唯一性 | 是否存在重复记录（相同用户+相同事件+相同时间） | 保留第一条，去重 |
| 时效性 | 时间戳是否在合理范围内（如非未来时间、非过时数据） | 超出范围则丢弃 |
| 一致性 | 字段值是否符合定义格式（如手机号位数、金额非负） | 格式错误则修正或丢弃 |
| 异常值 | 数值字段是否在业务合理区间（如年龄 0-120） | 超出区间则标记为异常 |
注意：初筛阶段不宜过度清洗。对于边界模糊的样本（如缺失率低于5%的字段），建议保留并标记，而非直接丢弃。过度清洗可能丢失有价值的坏样本模式。
下图展示数据质量初筛的典型流程：
初筛通过后，样本进入正式的归因分析流程。但需注意，初筛只是第一道关卡，后续仍需结合业务逻辑与统计方法进行深度清洗与特征工程。数据采集与质量初筛的规范性，直接决定了坏样本归因结论的可靠性与策略优化的有效性。