VIP20

本课程属于：030-实时推荐数据平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时推荐用户事件采集与Kafka实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

用户事件采集的价值、Kafka在数据管道中的角色、课程整体架构与学习路径。

事件采集基础

什么是用户事件、埋点方案对比（代码埋点 vs 全埋点 vs 可视化埋点）、事件模型设计。

埋点事件模型

Kafka核心概念

Topic、Partition、Producer、Consumer、Broker、Offset、Consumer Group。

Kafka集群部署

单机部署、集群部署（3节点）、ZooKeeper vs KRaft模式、关键配置参数。

Kafka生产者详解

发送流程、acks机制、重试机制、分区策略、自定义Partitioner。

生产者分区

Kafka消费者详解

消费模式、offset提交（自动/手动）、再均衡监听器、幂等消费。

消费者offset

Kafka存储机制

日志结构、Segment文件、索引文件、日志清理策略（delete/compact）。

Kafka高可用设计

副本机制、ISR机制、Leader选举、故障恢复流程。

高可用副本

事件数据标准化

事件Schema设计、JSON/AVRO/Protobuf选型、Schema Registry集成。

Schema序列化

事件采集SDK设计

前端SDK（Web/App）、后端SDK（Java/Python）、异步发送与批量聚合。

事件数据清洗与过滤

脏数据识别、字段校验、去重策略、异常事件处理。

Kafka Connect实战

Source Connector（采集MySQL/日志）、Sink Connector（写入HDFS/ES）。

Kafka Streams入门

流处理概念、WordCount案例、状态存储与窗口操作。

流处理Streams

Kafka与Flume集成

Flume架构、Source/Channel/Sink配置、Kafka Sink实战。

Kafka与Spark Streaming集成

Direct Stream方式、offset管理、Exactly-Once语义。

Kafka与Flink集成

Flink Kafka Consumer、Checkpoint与状态一致性、事件时间处理。

事件数据实时ETL

从Kafka到ClickHouse/Doris的实时写入、数据转换与聚合。

Kafka监控与运维

JMX指标、Burrow（Lag监控）、Kafka Manager/CMAK、Cruise Control。

Kafka安全机制

SSL/TLS加密、SASL认证（PLAIN/SCRAM/Kerberos）、ACL授权。

Kafka性能调优

生产者批量参数、消费者fetch参数、OS层面优化（Page Cache/磁盘）。

事件数据质量保障

数据完整性校验、延迟监控、死信队列（DLQ）设计。

Kafka消息回溯与重放

基于时间戳的消费、基于offset的消费、数据修复场景。

Kafka跨集群复制

MirrorMaker 2.0配置、双向同步、灾难恢复方案。

跨集群容灾

事件采集链路压测

压测工具（kafka-producer-perf-test）、瓶颈分析、容量规划。

Kafka与日志采集

Filebeat/Kafka集成、ELK架构中的Kafka、日志结构化处理。

用户行为分析实战

用户路径分析、漏斗分析、留存分析的事件数据支撑。

实时推荐系统事件流

用户行为事件流、特征计算、Kafka作为特征管道。

Kafka与数据湖

Kafka + Hudi/Iceberg/Delta Lake、CDC入湖、实时湖仓一体。

事件采集平台架构设计

整体架构图、技术选型、高可用设计、成本控制。

课程总结与项目实战

从0到1搭建用户事件采集平台、完整代码演示、面试要点梳理。