4. 完整性监控：缺失值检测、空值比例阈值设定、字段完整性检查
完整性是数据质量四大核心维度之一，直接决定模型能否正确理解特征分布。缺失值会导致统计偏差、模型训练中断或推理结果异常。本章从检测方法、阈值设定到字段级检查，建立完整的完整性监控体系。
4.1 缺失值检测方法
缺失值检测需区分三种类型：完全随机缺失（MCAR）、随机缺失（MAR）和非随机缺失（MNAR）。不同缺失机制对应不同的处理策略。检测手段包括：
- 逐字段空值计数：统计每列 null/NaN/空字符串的绝对数量与占比。
- 缺失模式矩阵：可视化多字段同时缺失的组合模式，识别系统性缺失。
- 时间序列缺失检测：按时间窗口滑动统计缺失率，发现周期性或突发性缺失。
- 关联缺失分析：计算字段间缺失的相关系数，定位级联缺失源头。
关键指标：缺失率 = 缺失记录数 / 总记录数 × 100%。建议对每个特征字段单独计算，而非仅看全局缺失率。
4.2 空值比例阈值设定策略
阈值设定需结合业务容忍度、模型鲁棒性和数据成本。下表列出不同场景的推荐阈值范围：
| 数据场景 | 推荐阈值 | 说明 |
|---|---|---|
| 关键业务字段（如金额、用户ID） | ≤ 1% | 缺失超过1%需立即告警并排查上游 |
| 模型核心特征（如年龄、收入） | ≤ 5% | 超过5%需评估插补或特征降级 |
| 辅助特征（如标签、备注） | ≤ 20% | 超过20%考虑剔除或合并为缺失标志 |
| 日志/埋点字段 | ≤ 50% | 高缺失率可接受，但需确认非系统故障 |
实践建议：阈值应分环境设定。开发环境可放宽至2倍生产阈值，避免误报干扰迭代；生产环境需严格按业务等级执行。
4.3 字段完整性检查流程
字段完整性检查不仅关注空值，还涵盖字段是否存在、类型是否匹配、枚举值是否完整。标准检查流程包含以下步骤：
- Schema 校验：对比数据源字段与模型定义字段列表，检测新增、缺失或重命名字段。
- 类型一致性检查：验证字段数据类型（int/float/string/datetime）是否与预期一致。
- 枚举值覆盖检查：对分类字段，检查实际出现的枚举值是否在允许列表中，发现非法值或缺失类别。
- 非空约束验证：对业务必填字段执行非空断言，记录违反约束的记录数。
- 跨表外键完整性：检查关联字段在目标表中是否存在对应记录，防止孤儿数据。
常见陷阱：空字符串 '' 与 null 在多数系统中不等价。监控时需同时检查两种形式，避免漏报。建议统一将空字符串转换为 null 后再做统计。
4.4 完整性监控架构
下图展示完整性监控在数据管道中的嵌入位置与数据流向：
4.5 缺失模式与阈值联动
不同缺失模式对阈值设定有直接影响。下图展示三种缺失模式下的阈值调整策略：
4.6 监控规则配置示例
以下为完整性监控规则的 YAML 配置示例，可直接集成到监控系统中：
# 完整性监控规则配置
monitoring:
completeness:
# 全局缺失率阈值
global_missing_threshold: 0.05 # 5%
# 字段级规则
field_rules:
- field_name: "user_id"
missing_threshold: 0.01 # 1%
action: "critical_alert"
imputation: "reject"
- field_name: "age"
missing_threshold: 0.05 # 5%
action: "warning"
imputation: "mean"
- field_name: "income"
missing_threshold: 0.03 # 3%
action: "warning"
imputation: "model_based"
- field_name: "tag"
missing_threshold: 0.20 # 20%
action: "info"
imputation: "flag_missing"
# 字段完整性检查
schema_check:
enabled: true
expected_fields: ["user_id", "age", "income", "tag", "timestamp"]
allowed_extra_fields: ["source", "version"]
# 枚举值检查
enum_check:
- field: "status"
allowed_values: ["active", "inactive", "pending"]
action: "reject_invalid"
自动化建议：将监控规则存储在配置中心（如 Consul/Etcd），支持热更新。每次规则变更自动生成版本号，便于回滚和审计。
4.7 告警与响应机制
完整性异常触发告警后，需按严重等级执行不同响应流程：
| 告警等级 | 触发条件 | 响应动作 | 通知对象 |
|---|---|---|---|
| Critical | 缺失率 > 10% 或关键字段缺失 | 暂停数据管道、立即排查 | 数据团队 + 业务负责人 |
| Warning | 缺失率 5%–10% | 触发自动插补、记录异常日志 | 数据工程师 |
| Info | 缺失率 1%–5% | 记录监控指标、定期汇总 | 监控仪表盘 |
注意：告警风暴是常见问题。建议对同一字段的连续缺失告警设置冷却时间（如 30 分钟内不重复告警），避免短时波动导致通知轰炸。