3. 数据源准备：高频行情数据表结构、坏账标签表结构、时间分区与快照设计

高频行情坏账率 PSI 漂移监控的基石是高质量、可回溯的数据源。本章将详细定义两类核心数据表的结构设计、时间分区策略以及快照机制，确保后续的 PSI 计算与漂移检测具备准确、高效且可复现的数据基础。

3.1 高频行情数据表结构

高频行情数据是 PSI 计算的“特征输入”。表结构需兼顾存储效率与查询性能，通常采用列式存储（如 Parquet）并配合合理的数据类型。

3.2 坏账标签表结构

坏账标签是 PSI 计算的“目标变量”。该表记录每笔订单最终是否演变为坏账，以及坏账发生的具体时间点，用于与行情数据关联生成“坏账率”指标。

3.3 时间分区与快照设计

PSI 监控要求在不同时间窗口（如日、周、月）上对比特征分布。合理的时间分区与快照设计是高效执行对比查询的关键。

3.3.1 时间分区策略

• 日期分区（dt）：所有表统一使用 dt 作为一级分区，格式为 yyyy-MM-dd。查询时通过 WHERE dt = '2025-03-01' 快速裁剪数据。
• 小时/分钟子分区（可选）：对于日内高频监控，可在 dt 下增加 hour 或 minute 子分区，进一步加速细粒度聚合。
• 快照表（Snapshot Table）：为支持历史回溯，每日生成一张“全量快照表”，包含当日所有活跃订单的最终状态。快照表以 snapshot_dt 为分区键，保留最近 90 天数据。

3.3.2 快照设计示例

-- 创建每日快照表
CREATE TABLE risk.snapshot_daily (
    snapshot_dt STRING,
    symbol STRING,
    order_id STRING,
    open_time TIMESTAMP,
    close_time TIMESTAMP,
    is_bad_debt BOOLEAN,
    bad_debt_amount DOUBLE,
    -- 衍生特征：坏账率标签
    bad_debt_flag INT
)
PARTITIONED BY (dt STRING)
STORED AS PARQUET;

-- 插入当日快照数据
INSERT OVERWRITE TABLE risk.snapshot_daily PARTITION (dt = '2025-03-01')
SELECT
    '2025-03-01' AS snapshot_dt,
    symbol,
    order_id,
    open_time,
    close_time,
    is_bad_debt,
    bad_debt_amount,
    CASE WHEN is_bad_debt THEN 1 ELSE 0 END AS bad_debt_flag
FROM risk.order_labels
WHERE dt = '2025-03-01';

3.4 数据源架构总览

下图展示了高频行情数据、坏账标签数据与快照表之间的流转关系，以及时间分区如何支撑 PSI 监控的对比查询。

3.5 数据源准备清单

在实际落地时，请按以下步骤完成数据源准备，避免遗漏关键环节：

1. 确认行情数据粒度：确保高频行情表包含毫秒级 trade_time，且 price 和 volume 无空值。
2. 对齐坏账标签时间：坏账标签的 close_time 或 bad_debt_time 必须能与行情表的 trade_time 窗口关联。
3. 创建快照表并初始化：运行示例 SQL 创建 snapshot_daily 表，并回填最近 30 天数据。
4. 验证分区裁剪：执行 EXPLAIN SELECT ... WHERE dt = '2025-03-01' 确认查询只扫描对应分区。
5. 设置数据保留策略：原始行情表保留 7 天，快照表保留 90 天，坏账标签表永久保留。