📚 课程目录第4章数据源与数据准备

4. 数据源与数据准备：确定PSI计算所需的数据字段

PSI监控看板的可靠性完全取决于底层数据的质量。在搭建看板之前，必须明确三个核心问题：需要哪些字段、从哪里采集、质量如何保障。本章将逐一拆解，确保后续PSI计算有据可依。

4.1 PSI计算所需的核心数据字段

PSI衡量的是评分或定价变量在时间窗口内的分布偏移。因此，所需字段分为三类：标识字段、模型/定价字段、时间字段。

字段类别	字段名称	数据类型	说明
标识字段	客户ID / 申请编号	STRING	唯一标识每笔申请或客户，用于去重和关联
模型/定价字段	申请评分卡得分	FLOAT	PSI计算的核心变量，通常为0-1000分
模型/定价字段	最终授信额度	FLOAT	定价输出变量，单位：元
模型/定价字段	年化利率	FLOAT	定价输出变量，单位：%
模型/定价字段	风险等级	STRING	评分卡分段结果（如A/B/C/D），用于分层监控
时间字段	申请日期 / 审批日期	DATE	确定样本所属时间窗口（月/周/季）
辅助字段	产品线 / 渠道	STRING	用于细分监控，如“线上-消费贷”

实践建议：如果PSI监控需要覆盖多个产品线，建议在数据表中增加“产品线”字段，以便在看板中实现下钻分析。不要将不同产品的评分混在一起计算PSI，否则会掩盖真实偏移。

4.2 数据采集方式与架构

数据采集通常有两种模式：离线批量采集（适用于T+1监控）和实时流式采集（适用于准实时监控）。对于额度定价PSI看板，推荐以离线批量为主，实时为辅。

下图展示了典型的数据采集与PSI计算架构：

4.3 数据质量要求

数据质量是PSI监控的生命线。以下六项质量要求必须在数据接入阶段强制执行：

完整性：核心字段（评分、额度、利率、日期）不允许为空。空值率超过5%的批次应标记为“数据异常”，不参与PSI计算。
准确性：评分必须在模型定义的取值范围内（如0-1000），额度必须大于0，利率必须在0-100%之间。超出范围的数据应自动剔除并告警。
一致性：同一客户在不同时间窗口的评分口径必须一致。如果模型版本升级，必须记录版本号，并分别计算PSI。
时效性：数据采集延迟不得超过24小时。对于T+1监控，每日凌晨必须完成前一日数据的抽取与清洗。
唯一性：同一申请编号在同一个时间窗口内只能出现一次。重复数据应通过去重逻辑保留最新记录。
完整性校验：每个时间窗口的样本量应与业务系统记录一致。样本量突降超过20%时，触发数据质量告警。

常见陷阱：很多团队在搭建PSI看板时，忽略了“模型版本一致性”问题。如果评分卡在2024年6月升级，而7月的PSI计算仍然混用新旧版本的评分，会导致PSI值虚高，误判为“模型偏移”。正确的做法是：在PSI宽表中增加“模型版本”字段，按版本分别计算PSI。

4.4 数据准备流程清单

以下是数据准备阶段的标准操作流程，建议在项目启动时逐项确认：

步骤	操作内容	输出物	负责人
1	确认PSI计算所需字段清单	字段定义文档	风控模型团队
2	调研业务系统数据源	数据源映射表	数据工程师
3	编写ETL脚本，抽取历史数据	PSI宽表（历史全量）	数据工程师
4	编写数据质量校验脚本	质量校验报告	数据工程师
5	设置每日增量采集任务	调度任务配置	数据工程师
6	数据质量监控告警配置	告警规则列表	运维团队

4.5 数据字段的标准化示例

为了便于后续PSI计算，建议将原始数据转换为标准化的宽表格式。以下是一个示例数据行：

| 申请编号 | 申请日期   | 产品线   | 评分卡版本 | 申请评分 | 授信额度 | 年化利率 | 风险等级 |
|----------|------------|----------|------------|----------|----------|----------|----------|
| APP001   | 2024-07-15 | 消费贷   | V2.1       | 685      | 50000    | 12.5     | B        |
| APP002   | 2024-07-15 | 消费贷   | V2.1       | 420      | 10000    | 24.0     | D        |
| APP003   | 2024-07-16 | 车贷     | V2.1       | 780      | 150000   | 8.5      | A        |

  关键提醒：PSI计算对数据分布敏感，建议在数据准备阶段就完成“分箱映射表”的预计算。例如，将申请评分按0-100、100-200…900-1000分为10个等距箱，并将每个样本的所属箱号提前写入宽表，可以大幅提升后续PSI计算的性能。