VIP20
本课程属于：024-流批一体架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据质量在流批一体中的落地

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
第1章
数据质量概述
什么是数据质量、数据质量为什么重要、数据质量的六大维度（完整性、准确性、一致性、及时性、唯一性、有效性）。
完整性准确性一致性
第2章
流批一体架构基础
Lambda架构与Kappa架构对比、流批一体核心思想、主流技术选型（Flink、Spark、Kafka）。
LambdaKappaFlink
第3章
数据质量在流处理中的挑战
数据乱序、延迟到达、窗口计算的不确定性、状态管理复杂性。
乱序延迟状态管理
第4章
数据质量在批处理中的挑战
数据倾斜、分区问题、历史数据回溯、ETL过程中的质量损耗。
数据倾斜分区ETL
第5章
流批一体数据质量框架设计
统一元数据管理、规则引擎设计、质量度量指标体系。
元数据规则引擎度量
第6章
数据质量规则定义
规则分类（完整性规则、准确性规则、一致性规则）、规则表达式设计、规则优先级管理。
规则分类表达式优先级
第7章
数据质量规则引擎实现
规则解析、规则编译、规则执行、规则结果反馈。
解析编译执行
第8章
数据质量度量指标设计
DQ Score计算模型、维度权重分配、阈值设定策略。
DQ Score权重阈值
第9章
数据质量监控体系
实时监控与离线监控、告警机制设计、监控面板搭建。
实时监控告警面板
第10章
数据质量在数据采集层的落地
Source端质量校验、Schema校验、空值/异常值处理。
SourceSchema空值
第11章
数据质量在数据清洗层的落地
去重策略、数据标准化、异常数据修复。
去重标准化修复
第12章
数据质量在数据转换层的落地
Join操作的质量保障、聚合操作的质量保障、UDF函数质量。
Join聚合UDF
第13章
数据质量在数据加载层的落地
目标端一致性保障、Exactly-Once语义、幂等写入。
一致性Exactly-Once幂等
第14章
数据血缘与数据质量
血缘追踪技术、质量问题的根因分析、影响范围评估。
血缘根因分析影响评估
第15章
数据质量元数据管理
元数据采集、元数据存储、元数据服务化。
采集存储服务化
第16章
数据质量测试策略
单元测试、集成测试、端到端测试、数据质量回归测试。
单元测试集成测试回归测试
第17章
数据质量自动化测试框架
测试用例设计、测试数据生成、断言机制、报告生成。
用例断言报告
第18章
数据质量在实时数仓中的应用
DWD层质量保障、DWS层质量保障、ADS层质量保障。
DWDDWSADS
第19章
数据质量在离线数仓中的应用
ODS层质量保障、DWD层质量保障、DWS层质量保障。
ODSDWDDWS
第20章
数据质量在数据湖中的应用
Lakehouse架构下的质量保障、Delta Lake/ Iceberg的质量特性。
LakehouseDelta LakeIceberg
第21章
数据质量在数据服务层的应用
API数据质量保障、数据产品数据质量保障。
API数据产品
第22章
数据质量SLA管理
SLA定义、SLA监控、SLA违约处理、SLA报告。
SLA监控违约
第23章
数据质量运营体系
质量度量看板、质量日报/周报、质量改进流程。
看板日报改进
第24章
数据质量工具选型
开源工具对比（Great Expectations、Deequ、Apache Griffin）、商业工具对比。
Great ExpectationsDeequGriffin
第25章
数据质量在金融场景的落地
风控数据质量、交易数据质量、合规数据质量。
风控交易合规
第26章
数据质量在电商场景的落地
用户行为数据质量、订单数据质量、库存数据质量。
用户行为订单库存
第27章
数据质量在IoT场景的落地
传感器数据质量、时序数据质量、设备数据质量。
传感器时序设备
第28章
数据质量成本优化
质量检查的资源消耗、采样策略、增量质量检测。
资源消耗采样增量检测
第29章
数据质量团队建设
角色定义、流程规范、工具平台、文化建设。
角色流程文化
第30章
数据质量未来趋势
AI驱动的数据质量、Data Observability、数据质量即代码。
AIObservability质量即代码
专注课程资料整理