4. 样本完整性校验：必填字段检查、非空校验、记录数阈值与时间窗口完整性

在实时风控系统中，样本完整性是特征工程的第一道防线。缺失字段、空值记录或时间窗口内的数据断层，会直接导致特征计算异常、模型推理失效甚至误判。本章围绕四个核心维度展开：必填字段检查、非空校验、记录数阈值与时间窗口完整性。

4.1 必填字段检查

必填字段是每条样本必须携带的核心标识与业务属性，缺失将导致后续特征无法对齐。常见必填字段包括：

4.2 非空校验

非空校验不仅检查字段是否为 None 或空字符串，还需识别业务意义上的“空值”，例如 -1、0、"unknown" 等占位符。非空校验通常与字段类型绑定：

• 数值型字段：检查是否为 NaN、Inf 或业务约定无效值（如 -999）。
• 字符串型字段：检查是否为 ""、"null"、"N/A" 或全空格。
• 列表/字典型字段：检查是否为 [] 或 {}，以及长度是否为 0。

# 非空校验伪代码示例
def validate_not_null(value, field_type, invalid_values=None):
    if value is None:
        return False
    if field_type == 'numeric':
        import math
        if math.isnan(value) or math.isinf(value):
            return False
    elif field_type == 'string':
        if str(value).strip() in ('', 'null', 'N/A', 'unknown'):
            return False
    if invalid_values and value in invalid_values:
        return False
    return True

4.3 记录数阈值

记录数阈值用于判断时间窗口内样本量是否满足特征计算的最低要求。当样本量不足时，聚合特征（如均值、计数、标准差）将失去统计意义，甚至产生误导性结果。

4.4 时间窗口完整性

时间窗口完整性校验确保窗口内的数据覆盖完整的时间范围，不存在因延迟、乱序或系统故障导致的“空洞”。常见校验方法包括：

• 首尾时间戳检查：窗口内最早与最晚时间戳之差应接近窗口长度。
• 时间间隔均匀性检查：相邻记录的时间间隔不应超过窗口长度的 1/3（经验值）。
• 心跳记录检查：对于低频场景，可插入虚拟心跳记录作为完整性标记。

4.5 综合校验策略与告警

在实际工程中，上述四个维度需要组合执行，形成完整的样本完整性校验链路。推荐采用“前置过滤 + 窗口校验 + 后置补偿”三层架构：

1. 前置过滤：在数据接入层完成必填字段检查与非空校验，剔除无效样本。
2. 窗口校验：在特征计算层完成记录数阈值与时间窗口完整性校验，标记不完整窗口。
3. 后置补偿：对不完整窗口执行默认值填充、回退窗口或降级策略。

4.6 校验指标监控

为保障校验体系持续有效，需建立实时监控看板，关注以下核心指标：