VIP20

本课程属于：029-实时风控数据链路 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时风控Kafka流式数据清洗实战

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Kafka发展史、核心概念（Topic、Partition、Broker）、应用场景与生态。

Kafka集群搭建

单机与集群部署、ZooKeeper/KRaft模式、配置文件详解。

生产者客户端

Producer API、发送模式（同步/异步）、分区策略、序列化器。

消费者客户端

Consumer API、消费组与重平衡、位移提交、反序列化器。

Kafka Streams入门

Streams DSL、Processor API、状态存储与窗口操作。

流式数据清洗概述

脏数据分类（缺失值、异常值、重复数据）、清洗流程设计。

Source/Sink Connector、单机与分布式模式、REST API管理。

集成连接器

数据序列化与Schema

Avro、Protobuf、JSON Schema、Schema Registry集成。

序列化Schema

过滤与转换算子

filter、map、flatMap、branch、merge在清洗中的应用。

时间戳与窗口

事件时间、处理时间、摄取时间、滚动/滑动/会话窗口。

状态存储与去重

KeyValueStore、WindowStore、基于状态的精确去重实现。

数据质量监控

指标采集（lag、throughput）、自定义监控、告警集成。

异常值检测

统计方法（Z-score、IQR）、滑动窗口异常检测、自定义处理器。

数据补全与填充

基于历史数据的填充、外部API调用补全、默认值策略。

数据格式转换

JSON/CSV/Avro互转、字段映射、类型转换与校验。

流表对偶与KTable

KStream与KTable区别、GlobalKTable、流表Join。

Inner/Left/Outer Join、Windowed Join、异步Join优化。

数据路由与分发

基于内容的路由、Topic选择器、动态分区分配。

错误处理与死信队列

异常捕获、重试机制、DLQ设计与消费。

Exactly-Once语义

幂等生产者、事务API、流处理中的EOS实现。

一致性事务

Kafka Streams测试

TopologyTestDriver、Mocking、集成测试实践。

生产者/消费者参数调优、并行度设置、内存与GC优化。

安全与权限

SSL/TLS加密、SASL认证、ACL授权、Schema Registry安全。

日志压缩与清理

Log Compaction、Log Deletion、Cleanup Policy配置。

Kafka MirrorMaker

跨集群数据同步、双向复制、灾难恢复方案。

Kafka REST Proxy

HTTP接口调用、生产/消费消息、Schema管理。

Kafka与Flink集成

Flink Kafka Connector、Checkpoint与状态一致性。

Kafka与Spark Streaming集成

Direct Stream、Offset管理、结构化流。

实时数据管道案例

从MySQL到Kafka再到HDFS的清洗与存储。

构建端到端流式数据清洗平台，涵盖采集、清洗、监控、存储全流程。

实战全流程