VIP20

本课程属于：091-Confluent Kafka实时数据平台工程 后端、数据与云原生工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Confluent Kafka数据质量与元数据治理

共计 30 章节

可可资料掘金营 · 点击在线试看

课程导入与全景认知

目标=Confluent Kafka… · 核心挑战 · 学习路径与实战环境准备

课程导入全景认知

Confluent Kafka数据治理基础

目标=Topic · Partition · Offset

元数据体系设计

目标=业务元数据 · 技术元数据 · 操作元数据的分类

元数据体系设计目标=业务元数据

Schema Registry实战

目标=Avro · Protobuf · JSON Schema的注册

Schema演进与兼容性治理

目标=BACKWARD · FORWARD · FULL等兼容模式的选择

数据质量维度定义

目标=完整性 · 准确性 · 一致性

数据质量维度定义目标=完整性

Kafka消息级数据质量校验

目标=生产者端拦截 · 序列化校验 · 必填字段检查与死信队列设计

Kafka消息级数据质量校…

流式数据质量规则引擎

目标=使用ksqlDB或Flink… · 窗口聚合校验与异常检测

流式数据质量规则…ksqlDB

Confluent Control Center与监控指标

目标=利用内置监控 · JMX指标 · Metrics API构建数据质量可…

ConfluentControl

数据血缘追踪

目标=Kafka Connect · ksqlDB · Streams应用中的血缘采集

数据血缘追踪Kafka

元数据存储与目录集成

目标=将Kafka元数据同步到Dat… · Atlas · OpenMetadata等目录工具的…

元数据存储目录集成

数据质量告警与通知

目标=基于Prometheus · Grafana · Alertmanager或Confl…

数据质量告警通知

死信队列与错误处理

目标=DLQ设计模式 · 错误消息重放 · 补偿事务与数据修复流程

死信队列错误处理

数据质量SLA与SLO

目标=定义流数据质量服务等级 · 监控达标率 · 报告机制与持续改进闭环

Confluent Cloud数据治理功能

目标=Stream Governan… · Schema Registry · 数据门户

敏感数据识别与分类

目标=PII检测 · 数据脱敏 · 动态掩码在Kafka主题与流处理中的…

敏感数据识别分类

访问控制与审计

目标=ACL · RBAC · 审计日志

访问控制审计

数据质量根因分析

目标=从生产者 · Broker · 消费者

数据质量根因分析目标=从生产者

批流一体的数据质量校验

目标=Kafka与数据仓库 · 数据湖集成时的质量一致性保障与对账机…

批流一体的数据质…Kafka

元数据驱动的数据发现

目标=基于Schema Regist… · 影响分析与自助服务

元数据驱动的数据…Schema

数据质量度量与仪表盘

目标=设计质量指标 · 构建实时看板 · 跟踪趋势与生成治理报告

数据质量度量仪表盘

Confluent Kafka治理自动化

目标=使用CI/CD · Terraform · Confluent CLI实现Sch…

多集群与混合云治理

目标=跨集群元数据同步 · Schema全局注册 · 质量策略统一管理的挑战与方案

多集群混合云治理

数据质量事故应急响应

目标=从告警到恢复的标准操作流程 · 沟通机制与事后复盘

数据质量事故应急…目标=从告警到恢…

目标=金融交易流的数据质量与元数据治… · 涵盖Schema管理 · 实时校验与审计

行业案例目标=金融交易流…

目标=物联网设备流的数据质量治理 · 涵盖乱序 · 重复

行业案例目标=物联网设备…

目标=零售实时库存流的数据质量保障 · 涵盖多源合并 · 一致性校验与血缘追踪

行业案例目标=零售实时库…

数据治理成熟度评估

目标=针对Kafka流平台的评估模型 · 差距分析与演进路线图制定

数据治理成熟度评…Kafka

综合实战项目

目标=从零搭建一个具备Schema治… · 质量规则 · 血缘追踪和告警的Confluent…

综合实战项目Schema

课程总结与前沿展望

目标=核心知识点回顾 · 常见陷阱 · 持续学习资源与流数据治理的未来趋势

课程总结前沿展望