异常值检测在风控数据质量中的实践应用 - 第2节
2.1 描述性统计：集中趋势与离散程度
在风控数据质量治理中，理解数据的“正常”范围是识别异常值的前提。描述性统计通过几个关键指标刻画数据的集中趋势和离散程度，为异常值检测提供数学基准。
2.1.1 集中趋势指标
| 指标 | 定义 | 风控场景应用 | 对异常值的敏感性 |
|---|---|---|---|
| 均值（Mean） | 所有数据之和除以数据个数 | 计算平均交易金额、平均逾期天数 | 高（易被极端值拉偏） |
| 中位数（Median） | 排序后位于中间位置的值 | 描述收入分布、贷款金额的典型水平 | 低（稳健性强） |
| 众数（Mode） | 出现频率最高的值 | 识别最常见的交易渠道、设备型号 | 低（不受极端值影响） |
风控实践提示：当数据分布严重偏态时（如用户收入分布），均值会失去代表性。此时应优先使用中位数作为“正常值”的基准，避免将高净值用户的正常值误判为异常。
2.1.2 离散程度指标
| 指标 | 定义 | 风控场景应用 |
|---|---|---|
| 标准差（σ） | 数据点与均值偏差的平方根 | 衡量交易金额的波动性，设定阈值 |
| 四分位数（Q1/Q3） | 将数据四等分的三个分割点 | 构建箱线图，识别离群点 |
| 四分位距（IQR） | Q3 - Q1，衡量中间50%数据的跨度 | 定义异常值边界：Q1 - 1.5×IQR 或 Q3 + 1.5×IQR |
# Python 快速计算关键统计量
import numpy as np
data = [120, 135, 128, 145, 132, 9999, 130, 142, 138, 125]
mean = np.mean(data)
median = np.median(data)
std = np.std(data, ddof=1)
q1 = np.percentile(data, 25)
q3 = np.percentile(data, 75)
iqr = q3 - q1
print(f"均值: {mean:.2f}, 中位数: {median:.2f}, 标准差: {std:.2f}")
print(f"Q1: {q1:.2f}, Q3: {q3:.2f}, IQR: {iqr:.2f}")
# 输出: 均值: 1154.40, 中位数: 133.50, 标准差: 3110.67
# 说明: 均值被 9999 严重拉偏，中位数更稳健
关键结论：在风控数据质量检测中，中位数 + IQR 的组合比 均值 + 标准差 对异常值更稳健，尤其适用于非正态分布的数据。
2.2 正态分布与偏态分布
数据分布形态决定了异常值检测方法的选择。正态分布是对称的“钟形曲线”，而偏态分布则存在长尾，直接影响阈值设定的合理性。
2.2.1 正态分布（Normal Distribution）
- 特征：均值 = 中位数 = 众数，数据关于均值对称分布。
- 3σ 法则：约 68% 的数据落在 μ±1σ 内，95% 落在 μ±2σ 内，99.7% 落在 μ±3σ 内。
- 风控应用：适用于信用评分、利率变动等近似对称的数据。超出 μ±3σ 的值可视为异常。
2.2.2 偏态分布（Skewed Distribution）
| 类型 | 特征 | 均值与中位数关系 | 风控场景举例 |
|---|---|---|---|
| 右偏（正偏） | 长尾在右侧，存在极大值 | 均值 > 中位数 | 用户收入分布、贷款金额分布 |
| 左偏（负偏） | 长尾在左侧，存在极小值 | 均值 < 中位数 | 还款天数分布（多数人提前还款） |
常见误区：在偏态分布中直接使用“均值 ± 3σ”作为异常值阈值，会导致大量正常值被误判为异常（右偏时右侧阈值过宽，左偏时左侧阈值过宽）。此时应优先使用基于 IQR 的方法或分位数法。
2.3 异常值产生机制
理解异常值的来源，有助于在风控数据质量治理中区分“真正的数据错误”与“有价值的风险信号”。
2.3.1 异常值的三大来源
| 来源类别 | 具体原因 | 风控数据质量影响 | 处理策略 |
|---|---|---|---|
| 数据录入错误 | 人工输入失误、传感器故障、系统传输丢包 | 导致统计指标失真，模型训练偏差 | 清洗、修正或删除 |
| 自然变异 | 真实存在的极端值（如大额交易、突发欺诈） | 可能代表高风险事件，需重点分析 | 保留并标记，用于风控规则 |
| 数据合并/转换错误 | 多源数据拼接时字段错位、单位不一致 | 产生逻辑矛盾（如年龄 999 岁） | 建立数据质量校验规则 |
2.3.2 异常值对风控数据质量的具体影响
- 统计指标失真：单个异常值可使均值偏离真实水平 50% 以上，影响后续阈值设定。
- 模型训练偏差：异常值会扭曲回归模型的拟合方向，降低风控模型的泛化能力。
- 规则误判：未处理的异常值可能导致风控规则频繁误触发（假阳性）或漏报（假阴性）。
风控数据质量治理原则：异常值检测不是简单的“删除异常值”，而是先识别异常值的产生机制，再决定是清洗、修正、保留还是标记。对于自然变异类异常值，应作为风险信号纳入风控策略。
2.4 本章小结
- 集中趋势与离散程度：均值、中位数、标准差、四分位数是异常值检测的基础工具。中位数 + IQR 在偏态分布中更稳健。
- 分布形态：正态分布适用 3σ 法则，偏态分布应优先使用 IQR 或分位数法，避免误判。
- 异常值产生机制：区分数据录入错误、自然变异、数据合并错误，采取不同的处理策略，将自然变异类异常值转化为风控信号。