3. 数据采集与预处理：数据源识别、数据清洗规则、异常值处理、数据标准化流程

在额度策略稳定性巡检中，数据采集与预处理是决定后续分析质量的基础环节。原始数据通常来自多个异构系统，存在格式不统一、缺失值、异常波动等问题。本章系统梳理从数据源识别到标准化输出的完整流程，确保巡检指标计算的可复现性与准确性。

3.1 数据源识别与分类

额度策略巡检涉及的数据源可归纳为以下四类，每类数据在稳定性评估中承担不同角色：

3.2 数据清洗规则

数据清洗是预处理的核心环节，直接决定后续异常值检测与标准化流程的有效性。以下为额度巡检场景中常见的清洗规则：

• 格式统一：日期字段统一为 YYYY-MM-DD 格式；金额字段去除千分位符与货币符号，统一为数值型。
• 去重处理：按客户ID+时间戳去重，保留最新一条记录；对借据级数据按借据号去重。
• 缺失值处理：连续型字段（如额度、利率）使用中位数填充；离散型字段（如产品类型）使用众数填充或单独标记为“未知”。
• 逻辑校验：额度生效日期必须早于到期日期；放款金额不得大于授信额度；逾期天数不得为负数。
• 边界截断：对明显超出业务常识的极端值（如单笔授信额度超过1亿元）进行截断或标记待人工审核。

-- 示例：额度数据清洗SQL片段
UPDATE credit_limit_table
SET 
    effective_date = CAST(effective_date AS DATE),
    expire_date = CAST(expire_date AS DATE),
    credit_limit = ROUND(CAST(REPLACE(credit_limit, ',', '') AS DECIMAL(18,2)), 2)
WHERE 
    effective_date < expire_date
    AND credit_limit BETWEEN 1000 AND 100000000;

3.3 异常值处理

异常值在额度巡检中通常表现为“单日额度激增”“某产品线使用率骤降”等模式。异常值处理需区分“业务真实波动”与“数据采集错误”：

3.4 数据标准化流程

标准化流程确保来自不同数据源的指标在量纲、时间窗口、聚合粒度上对齐，使巡检结果可横向对比。标准化分为三个层次：

1. 时间标准化：所有指标统一到“日”粒度，缺失日期补零；周/月聚合使用自然周/自然月对齐。
2. 量纲标准化：金额类指标统一为“万元”或“元”并保留两位小数；比率类指标统一为百分比格式（0.00%~100.00%）。
3. 口径标准化：定义统一的“授信额度”为“审批通过且客户已签约的额度”，排除“预授信未签约”部分。

3.5 数据预处理全流程架构

以下SVG图展示了从数据源识别到标准化输出的完整链路，包含清洗、异常处理、标准化三个核心阶段：

3.6 案例：数据预处理实战要点

某消费金融公司在进行季度额度稳定性巡检时，发现“循环贷产品”的额度使用率在3月15日出现异常峰值。经数据预处理排查，问题出在以下环节：

• 数据源识别遗漏：未纳入“额度调整记录表”，导致当天批量提额事件未被标记。
• 清洗规则缺失：未对“提额生效时间”与“放款时间”做先后校验，部分提额后立即放款的记录被重复计算。
• 异常值误判：初始模型将3月15日数据标记为异常并剔除，实际为业务部门执行的“春季提额活动”，属于真实策略事件。