VIP20

本课程属于：029-实时风控数据链路 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

行为流采集与Kafka实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

行为流概述

什么是用户行为流、行为流采集的价值、常见采集场景（电商、内容平台）。

采集技术选型

埋点方案对比（代码埋点 vs 全埋点 vs 可视化埋点）、数据格式设计（JSON Schema）。

Kafka核心概念

Topic、Partition、Producer、Consumer、Broker、Offset。

Kafka集群搭建

单机部署、集群配置、ZooKeeper角色、常用配置参数调优。

Kafka生产者实战

Producer API使用、发送模式（同步/异步）、回调机制、分区策略。

开发生产者

Kafka消费者实战

Consumer API使用、消费组与再均衡、位移提交（自动/手动）、幂等消费。

开发消费者

Kafka高级特性

消息可靠性（ACK、ISR）、Exactly-Once语义、事务消息、压缩算法。

高级可靠性

Kafka监控与运维

JMX监控、Lag监控、Topic管理、日志清理策略、集群扩容。

行为流数据采集SDK设计

前端SDK架构、事件队列、批量发送、重试机制。

服务端数据接收层

HTTP接口设计、鉴权与限流、数据校验、异步写入Kafka。

数据清洗与标准化

ETL流程设计、字段映射、脏数据处理、时间戳对齐。

ETL数据治理

实时计算与流处理

Flink/Kafka Streams入门、窗口聚合、实时指标计算。

离线数仓分层

ODS、DWD、DWS、ADS设计、Hive与Kafka集成。

用户行为路径分析

Session划分、路径建模、漏斗分析、留存分析。

用户画像构建

标签体系设计、行为特征提取、实时画像更新。

A/B测试与实验平台

分流策略、实验指标计算、Kafka在实验数据流中的角色。

数据质量保障

数据完整性校验、延迟监控、异常告警、数据回填机制。

安全与合规

数据脱敏、隐私保护（GDPR）、访问控制、审计日志。

Kafka Connect实战

Source/Sink Connector、JDBC Connector、Elasticsearch Sink。

Kafka Schema Registry

Avro/Protobuf序列化、Schema演化兼容性、与Kafka集成。

Schema序列化

Kafka REST Proxy

HTTP方式生产/消费消息、适用场景、性能对比。

Kafka与日志系统集成

Filebeat/Kafka Log4j Appender、ELK架构。

Kafka与微服务集成

事件驱动架构、CQRS、Saga模式、Kafka作为事件总线。

微服务事件驱动

Kafka与大数据生态

Spark Streaming集成、Flink集成、Hudi/Iceberg实时入湖。

大数据入湖

Kafka性能调优

生产者/消费者参数调优、分区数设计、磁盘与网络优化。

Kafka故障排查

常见问题（Leader选举、磁盘满、网络分区）、诊断工具。

Kafka安全实践

SSL/TLS加密、SASL认证、ACL授权、审计。

Kafka多集群架构

MirrorMaker、跨数据中心复制、容灾设计。

多集群容灾

Kafka生态工具

Kafka UI、Kafka Tool、Burrow、Cruise Control。

项目实战：行为流采集平台

从零搭建行为流采集平台（需求分析、架构设计、编码实现、部署上线）。