VIP9
本课程属于：021-数据治理、质量与元数据工程 后端、数据与云原生工程 · 共 9 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据质量与治理生产实践与性能优化

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入与全景认知
目标=数据质量与治理的定义边界 · 生产环境中的典型痛点 · 性能优化为何成为治理落地的关键瓶颈
课程导入全景认知
02
生产数据资产盘点与质量基线建立
目标=如何识别核心数据域 · 关键数据元素与业务影响链路 · 通过 profiling 与采样建立…
生产数据资产盘点质量基线建立
03
数据质量维度在生产中的可操作化
目标=完整性 · 准确性 · 一致性
数据质量维度生产
04
数据质量规则引擎的设计与落地
目标=规则分类 · 规则模板化 · 动态阈值
数据质量规则引擎…落地
05
数据质量监控体系与告警治理
目标=监控分层 · 指标采集 · 异常检测
数据质量监控体系告警治理
06
数据质量问题的生产排查实战
目标=从告警到定位 · 利用血缘 · 日志
数据质量问题的生…目标=从告警到定…
07
数据治理组织与责任机制
目标=数据 owner · steward · custodian 的角色划分
数据治理组织责任机制
08
元数据采集与元数据驱动治理
目标=技术元数据 · 业务元数据 · 操作元数据的采集方案
元数据采集元数据驱动治理
09
数据血缘与影响分析的生产实践
目标=表级 · 字段级 · 任务级血缘的构建方法
数据血缘影响分析的生产实…
10
主数据与参考数据治理
目标=主数据识别 · 编码规则 · 去重合并
主数据参考数据治理
11
数据标准与数据建模治理
目标=命名规范 · 数据类型标准 · 码值标准
数据标准数据建模治理
12
数据质量度量与治理成效评估
目标=质量分 · 治理 KPI · 问题闭环率
数据质量度量治理成效评估
13
批处理数据质量检查的性能优化
目标=分区裁剪 · 谓词下推 · 采样策略
批处理数据质量检…目标=分区裁剪
14
流式数据质量监控的性能优化
目标=低延迟规则计算 · 窗口聚合 · 状态管理
流式数据质量监控…目标=低延迟规则…
15
数据清洗与标准化中的性能优化
目标=去重 · 补全 · 格式转换
数据清洗标准化
16
数据质量规则与 ETL/ELT 流水线的融合
目标=质量门禁 · 旁路校验 · 异步校验与流水线编排的性能平衡
ETL/ELT数据质量规则
17
数据治理平台的核心架构与性能设计
目标=采集层 · 存储层 · 计算层
数据治理平台的核…性能设计
18
数据质量检查的调度与资源管理
目标=任务优先级 · 依赖管理 · 错峰调度
数据质量检查的调…资源管理
19
数据质量治理中的存储优化
目标=质量结果表 · 历史快照 · 审计日志的存储模型
数据质量治理存储优化
20
数据质量查询与报表的性能优化
目标=预聚合 · 物化视图 · 索引设计
数据质量查询报表的性能优化
21
数据治理中的敏感数据识别与合规性能
目标=分类分级 · 脱敏 · 加密
数据治理敏感数据识别
22
数据质量根因分析与机器学习辅助
目标=异常模式识别 · 规则自动推荐 · 影响面预测
数据质量根因分析机器学习辅助
23
数据治理变更管理与发布性能
目标=schema 变更 · 规则变更 · 血缘变更的灰度发布
数据治理变更管理发布性能
24
数据质量事故的应急响应与复盘
目标=事故分级 · 止损措施 · 数据修复
数据质量事故的应…复盘
25
跨系统数据一致性治理实战
目标=多源异构数据同步 · 对账 · 差异检测与最终一致性保障的性能优化
跨系统数据一致性…目标=多源异构数…
26
数据质量治理的成本优化
目标=计算资源 · 存储资源 · 人力投入的度量与优化
数据质量治理的成…目标=计算资源
27
数据治理工具链集成与自动化
目标=与调度 · 监控 · CI/CD
数据治理工具链集…自动化
28
大规模数据质量检查的分布式性能调优
目标=数据倾斜 · shuffle 优化 · 内存管理
大规模数据质量检…目标=数据倾斜
29
数据质量与治理的生产案例拆解
目标=电商 · 金融 · 物流等场景下的真实治理项目
数据质量治理的生产案例拆…
30
课程总结与持续治理路线图
目标=核心方法论回顾 · 能力成熟度评估 · 性能优化 checklist
课程总结持续治理路线图