VIP20

本课程属于：047-湖仓元数据治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Kafka湖仓元数据实时采集系统

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

课程导学与元数据基础

元数据概念、分类（技术/业务/操作）及核心价值，Kafka在元数据生态中的角色定位。

Kafka核心原理回顾

Topic与Partition机制、Producer/Consumer模型、Broker与Controller、ISR与ACK机制。

Kafka元数据全景分析

集群、Topic、消费、配置元数据详解，包括Broker列表、分区副本、Consumer Group与Offset等。

实时采集方案设计原则

采集目标、粒度（全量/增量/变更）、延迟要求、一致性考量，以及API轮询 vs 内部Topic vs 插件化对比。

方案一：AdminClient API轮询采集

AdminClient核心API（listTopics、describeTopics等），定时轮询实现与增量变更识别策略。

方案一实战：Java AdminClient实现

Maven依赖、连接集群、采集Topic/分区/Consumer Group/Offset，数据序列化与存储（JSON/AVRO）。

方案一优化：增量采集与变更检测

全量快照 vs 增量变更，基于MD5校验与时间戳的增量策略，轮询间隔动态调整。

方案一局限性与适用场景

轮询延迟、API频率限制、集群压力分析，适用中小集群与非实时场景。

方案二：监听__consumer_offsets Topic

内部Topic结构解析，Offset提交消息格式，使用Consumer消费并反序列化。

内部Topic监听

方案二实战：消费__consumer_offsets

配置消费者订阅内部Topic，避免group.id冲突，解析Offset消息，构建实时消费进度视图。

方案二深入：解析__transaction_state

事务元数据消息格式、状态机（Ongoing/PrepareCommit等），采集事务信息用于数据血缘。

方案二深入：监听__cluster_metadata (KRaft)

KRaft模式下元数据Topic结构，Record类型解析（RegisterBrokerRecord等），实时监听集群拓扑变化。

方案二局限性与适用场景

内部Topic格式版本兼容风险、特殊权限要求、解析复杂度，适用高实时与深度定制场景。

方案三：Kafka Connect插件化采集

Connect架构回顾（Source/Sink Connector），自定义Source Connector开发流程与实现思路。

方案三实战：自定义元数据Source Connector

继承SourceConnector类，实现taskConfigs与poll方法，集成AdminClient采集并输出到Sink Topic。

方案三实战：配置与部署Connect集群

分布式模式配置、Connector配置文件、REST API管理、运行状态监控。

方案三优化：SMT处理元数据

Single Message Transform进行数据过滤、字段映射、类型转换，自定义SMT开发示例。

方案三局限性与适用场景

Connect集群运维成本、开发调试复杂度，适用已有Connect集群与数据管道集成场景。

方案四：基于MirrorMaker 2同步

MM2架构回顾，元数据同步机制（Topic配置、Consumer Group Offset），配置实现跨集群采集。

方案四实战：配置MM2采集元数据

配置mm2.properties，启用sync.topic.configs与sync.group.offsets，验证同步效果。

方案四局限性与适用场景

MM2主要用于数据复制，配置复杂，适用跨集群同步与容灾场景。

元数据存储与索引

存储选型（Elasticsearch、Neo4j、MySQL等），数据模型设计（节点/边模型），索引策略。

元数据变更事件驱动架构

基于Event Sourcing的存储，变更事件Topic设计，事件驱动下游消费（通知、告警、自动修复）。

事件驱动架构

元数据血缘与影响分析

构建数据血缘，字段级追踪，影响分析（上游变更对下游任务的影响），应用场景。

血缘影响分析

元数据质量与一致性保障

去重策略、Schema校验、异常检测与告警、数据修复流程。

质量一致性

大规模集群采集性能优化

采集任务分片（按Broker/Topic）、并行线程池、背压机制、资源隔离。

安全与权限管理

SASL/SSL认证、最小权限ACL配置、敏感元数据脱敏、审计日志。

监控与运维

采集任务健康度监控（延迟、成功率）、存储集群监控、告警规则、可视化Dashboard。

案例实战：企业级实时元数据平台

需求分析（1000+ Topic、500+ Group），架构设计（采集/存储/服务/应用层），核心代码与调优。

实战企业级

课程总结与未来展望

四种方案对比总结、选型决策树，KRaft全面化、云原生、AI辅助元数据管理趋势。