数据质量监控与告警设计
数据质量监控是保障数据资产可信的“免疫系统”，核心解决三个问题：监控什么（维度）、怎么判断异常（规则）、如何减少噪音（降噪）。面试中常考察候选人对全链路监控体系的理解，以及平衡“不漏报”与“少误报”的能力。
本章重点：监控策略（离线/实时/全量扫描）、告警规则（阈值/波动/异常检测）、降噪方法（分级/聚合/静默）。面试官会深挖你设计告警时的取舍与经验。
---
面试问答卡片 1：监控策略设计
| 面试问题 | 如何设计数据质量监控策略？请结合离线与实时场景说明。 |
| 考察点 | 监控维度覆盖度、频率选择、资源与时效的权衡。 |
| 回答框架 | 1. 明确关键维度（完整性、准确性、一致性、及时性） 2. 分场景选择频率：批量表用离线T+1全量扫描，高频流用实时滑动窗口抽样 3. 关键指标配置基线，如空值率 < 1%、延迟 < 10min |
| 示例回答 | “我会按四维度设计监控：完整性（空值率）、准确性（字段规则校验）、一致性（跨表对比）、及时性（T+1产出时间）。离线层用Airflow调度全量扫描，实时流用Flink滑动窗口5分钟粒度抽样，控制单次扫描成本在10万行以内。” |
| 可能追问 | ① 抽样比例如何确定？② 实时与离线结果冲突时以谁为准？ |
| 避坑提醒 | 不要只提“全量扫描”，面试官会质疑资源开销。必须给出评估依据（如数据量级、SLA要求）和折中方案。 |
面试问答卡片 2：告警规则设计
| 面试问题 | 你如何定义告警规则来减少误报？请举例说明阈值与波动检测的差异。 |
| 考察点 | 规则可配置性、异常检测能力、业务容忍度理解。 |
| 回答框架 | 1. 基础规则：硬阈值（如空值率 > 5%） 2. 动态规则：基于历史均值±3σ波动告警 3. 组合规则：多个维度同时超限才触发，降低误报 4. 灰度发布：新规则先观察再上线 |
| 示例回答 | “以日志表延迟为例：固定阈值为30min，但活动日流量高峰延迟50min正常，此时用波动检测——基于近7天同时段[P50,P95]区间，当前值超出P95则告警。对周期性数据配置同比/环比波动规则，避免高峰期误报。” |
| 可能追问 | ① 波动窗口长度怎么选？② 如何处理非周期性数据（如突增的爬虫日志）？ |
| 避坑提醒 | 避免说“所有规则都用固定阈值”，面试官期望看到对不同数据特征（周期/非周期、稳定/波动大）的差异化设计。 |
面试问答卡片 3：降噪与告警聚合
| 面试问题 | 如何解决告警风暴？请说出至少三种降噪策略。 |
| 考察点 | 降噪工程经验、告警生命周期管理、分级机制。 |
| 回答框架 | 1. 分级降噪：P0级（数据缺失）立即告警，P1级（延迟）聚合后5min发送 2. 时间/维度聚合：相同数据源、相同错误类型合并为一条 3. 静默抑制：已知维护窗口、上游任务失败时自动静默 4. 告警升级：连续N次未恢复自动提级 |
| 示例回答 | “我们采用三级降噪：① 按严重度分级，P0实时钉钉+电话，P1聚合5分钟发一次；② 相同表、相同错误类别合并为一条，并携带影响行数；③ 配置维护日历，计划内停机不告警。同时自愈回滚的异常自动关闭告警。” |
| 可能追问 | ① 聚合窗口怎么定？② 如何防止重要告警被静默掉？ |
| 避坑提醒 | 不要只说“合并告警”，要讲清楚聚合维度（时间窗口、机器、表名、错误码）和升降级机制。面试官关注你实际落地的效果数据（如告警量下降80%）。 |
知识结构：监控策略与规则类型对比
| 监控策略 | 适用场景 | 频率 | 常见告警规则 | 降噪示例 |
|---|---|---|---|---|
| 离线全量扫描 | ODS/DWD层大表，完整性校验 | T+1 | 行数同比降幅 > 20% | 与昨日数据比较，排除节假日 |
| 实时流抽样 | 日志/点击流，及时性监控 | 1-5分钟 | 延迟 > 30s 或吞吐突降 | 滑动窗口去重，仅对持续异常告警 |
| 规则引擎校验 | 数仓字段质量，如枚举值 | 每次写入 | 枚举非法比例 > 1% | 分级告警，低级别发邮件 |
高阶提示：面试官常要求你现场设计一张“监控大盘”架构图。建议提前准备：采集层（DataX/Flink）→ 规则引擎（配置中心）→ 告警通道（PagerDuty/钉钉）→ 降噪模块（聚合/静默）→ 可视化（Grafana）。重点说明“规则动态下发”和“告警自愈”能力。