4. 数据准备:额度定价巡检所需的数据源、数据清洗、特征工程基础
额度定价巡检的数据准备是PSI监控的基石。数据质量直接决定PSI计算的准确性,进而影响定价策略调整的可靠性。本节从数据源、清洗规则、特征工程三个层面构建巡检数据基础。
4.1 数据源全景
额度定价巡检需要整合三类核心数据源,覆盖客户、产品、市场三个维度:
| 数据源类别 | 典型字段 | 用途 | 更新频率 |
|---|---|---|---|
| 客户主数据 | 客户ID、年龄、收入、职业、征信评分、历史逾期次数 | 构建客户画像,计算风险分层 | 日/周 |
| 授信与用信数据 | 授信额度、已用额度、利率、期限、担保方式、放款日期 | 计算额度使用率、定价分布 | 实时/日 |
| 行为与市场数据 | 还款行为、提前还款标记、竞品利率、LPR基准、行业违约率 | 外部环境校准,识别定价偏移 | 月/季 |
巡检数据快照原则:PSI计算要求对比两个时间窗口的分布。建议以“月末快照”作为标准时间切片,确保每个周期内的客户状态一致,避免因数据更新时点不同导致分布偏差。
4.2 数据清洗核心规则
原始数据必须经过严格清洗才能进入PSI计算管道。以下为额度定价场景下的关键清洗规则:
- 缺失值处理:关键定价字段(利率、额度、期限)缺失率超过5%时,需回溯数据源;低于5%时,使用同客群中位数填充。
- 异常值截断:利率超过同期LPR×4倍、额度超过客群均值±3σ的记录,标记为异常并截断至边界值。
- 重复记录去重:同一客户ID在同一时间切片内出现多条授信记录时,保留最新一条,或按“额度最大”原则合并。
- 时间一致性校验:放款日期不得晚于当前快照日期,授信额度不得为负,利率不得为0或空。
- 客群过滤:剔除测试客户、内部员工、已结清且无余额的休眠账户,避免稀释分布。
# 示例:Python数据清洗伪代码
import pandas as pd
import numpy as np
def clean_pricing_data(df, snapshot_date):
# 1. 过滤测试与休眠客户
df = df[df['customer_type'] == '正常']
df = df[df['balance'] > 0]
# 2. 缺失值填充(利率用同客群中位数)
df['interest_rate'] = df.groupby('risk_level')['interest_rate']\
.transform(lambda x: x.fillna(x.median()))
# 3. 异常值截断(利率上限为LPR*4)
lpr = 3.45 # 示例LPR值
df['interest_rate'] = df['interest_rate'].clip(upper=lpr * 4)
# 4. 时间一致性校验
df = df[df['loan_date'] <= snapshot_date]
df = df[(df['credit_limit'] > 0) & (df['interest_rate'] > 0)]
return df
4.3 特征工程基础
PSI计算所需的特征并非原始字段,而是经过工程化处理的派生变量。以下为额度定价巡检中必须构建的三大类特征:
- 定价区间特征:将连续利率离散化为定价档位(如LPR-50bp、LPR、LPR+50bp、LPR+100bp等),每个档位对应一个PSI计算桶。
- 额度使用率特征:已用额度/授信额度,反映客户实际资金需求与定价敏感度,常作为PSI分层维度。
- 风险分层特征:基于征信评分或内部评级,将客户分为低、中、高三档,用于交叉分析定价分布偏移是否由客群结构变化引起。
特征工程避坑:定价档位的划分不宜过细(避免空桶)也不宜过粗(掩盖偏移)。建议初始分为5-7档,确保每个档位样本量不低于总体的5%。若某档位样本不足,合并至相邻档位。
4.4 特征工程输出清单
完成特征工程后,应输出以下标准化字段供PSI计算使用:
| 特征名称 | 数据类型 | 计算逻辑 | PSI用途 |
|---|---|---|---|
| pricing_bucket | 类别型(7档) | 利率按LPR±bp映射至离散档位 | 主PSI计算维度 |
| utilization_rate | 连续型(0-1) | 已用额度/授信额度 | 额度使用率PSI |
| risk_level | 类别型(低/中/高) | 基于征信评分三分位 | 交叉分析客群结构 |
| product_type | 类别型 | 信用贷/抵押贷/担保贷 | 产品维度分层监控 |
| snapshot_month | 日期型 | 月末快照日期 | 时间窗口标识 |
数据准备阶段常见陷阱:
- 忽略“零额度”客户:已结清或未激活客户不应纳入PSI计算,否则会拉低定价分布的真实偏移敏感度。
- 定价档位边界漂移:当LPR调整时,档位映射规则必须同步更新,否则PSI会错误反映政策变化而非客群行为变化。
- 样本量不足:某档位样本量<30时,PSI计算不稳定,建议合并至相邻档位或使用贝叶斯平滑。