VIP20
本课程属于：012-数据可观测性 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据可观测性入门实战

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据可观测性概述
什么是数据可观测性、为什么需要它，以及三大支柱：元数据、指标、日志。
元数据指标日志
02
数据质量维度
完整性、准确性、一致性、及时性、唯一性、有效性——六大维度的定义与业务影响。
完整性准确性一致性
03
数据血缘追踪
什么是数据血缘、手动追踪 vs 自动追踪，以及血缘在故障排查中的应用。
血缘故障排查
04
数据指标监控
延迟、吞吐量、错误率、数据新鲜度——核心指标监控方法。
延迟吞吐量错误率
05
日志与审计
结构化日志设计、日志级别（DEBUG/INFO/WARN/ERROR）、审计日志合规要求。
结构化日志审计
06
数据管道监控
批处理与流处理管道监控，以及管道断连告警设置。
批处理流处理告警
07
数据质量检查框架
Great Expectations 入门，定义 Expectation，运行 Validation。
Great ExpectationsValidation
08
数据新鲜度监控
什么是数据新鲜度、设置新鲜度 SLA、新鲜度告警实战。
新鲜度SLA告警
09
数据完整性检查
主键唯一性、非空约束、外键引用完整性检查。
主键非空外键
10
数据一致性验证
跨系统数据对账、源-目标一致性校验、时间窗口一致性。
对账源-目标时间窗口
11
数据异常检测
统计方法（均值/标准差）、基于规则的方法、简单机器学习方法。
统计规则ML
12
数据可观测性平台选型
开源方案（Apache Griffin、Soda Core）vs 商业方案（Monte Carlo、Bigeye）。
开源商业选型
13
元数据管理
技术元数据、业务元数据、操作元数据、元数据采集与存储。
技术元数据业务元数据
14
数据目录与发现
构建数据目录、数据资产搜索、数据字典维护。
数据目录搜索字典
15
数据可观测性仪表盘设计
关键指标选择、可视化最佳实践、告警聚合展示。
仪表盘可视化告警
16
告警与通知机制
告警级别定义、告警路由、告警抑制与升级策略。
告警级别路由抑制
17
事件响应与复盘
数据事件分类、响应流程（MTTD/MTTR）、事后复盘模板。
MTTDMTTR复盘
18
数据 SLA 管理
定义数据 SLA、SLA 监控、SLA 违约处理流程。
SLA监控违约
19
数据可观测性在数据湖中的应用
湖内数据质量监控、分区管理、小文件监控。
数据湖分区小文件
20
数据可观测性在数据仓库中的应用
ETL 监控、表级血缘、查询性能监控。
数据仓库ETL血缘
21
数据可观测性在实时流处理中的应用
Kafka 消费延迟监控、状态后端监控、Checkpoint 失败告警。
KafkaCheckpoint流处理
22
数据可观测性在 BI 报表中的应用
报表数据一致性检查、刷新延迟监控、异常值预警。
BI报表延迟
23
数据可观测性在机器学习中的应用
特征数据质量监控、训练-推理数据分布漂移、模型性能退化检测。
ML漂移退化
24
数据可观测性自动化
自动化数据质量检查流水线、自动化告警配置、自动化根因分析。
自动化流水线根因分析
25
数据可观测性团队建设
角色定义（数据质量工程师、平台工程师）、协作流程、文化培养。
团队角色协作
26
数据可观测性成熟度模型
初始级、可重复级、已定义级、量化管理级、优化级。
成熟度量化优化
27
数据可观测性成本优化
存储成本、计算成本、告警噪声控制、资源利用率监控。
成本告警噪声资源
28
数据可观测性安全与隐私
敏感数据识别、访问控制、审计日志合规（GDPR/CCPA）。
安全隐私GDPR
29
数据可观测性案例研究
电商大促数据质量保障、金融实时风控数据监控、医疗数据合规审计。
电商金融医疗
30
数据可观测性未来趋势
AI 驱动的可观测性、Data Mesh 中的可观测性、OpenTelemetry 在数据领域的应用。
AIData MeshOpenTelemetry