VIP20

本课程属于：029-实时风控数据链路 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

实时风控增量计算处理数据倾斜

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据倾斜的本质

什么是数据倾斜、数据倾斜在增量计算中的危害、数据倾斜的常见表现。

核心概念入门

增量计算基础

增量计算的概念、与全量计算的对比、增量计算的典型场景（实时数仓、流处理）。

基础流处理

数据倾斜的根因分析

Key分布不均、数据膨胀、Join操作引发倾斜、窗口函数导致倾斜。

预处理阶段优化

数据采样与探查、自定义分区策略、Salting技术（加盐）原理。

动态加盐策略

静态加盐的局限性、动态加盐的实现思路、动态加盐的代码示例。

两阶段聚合优化

局部聚合+全局聚合、Combine操作在增量场景下的应用、代码实战。

倾斜Key的识别与隔离

实时监控倾斜Key、将倾斜Key单独处理、非倾斜Key正常处理。

广播变量优化

小表广播、MapJoin在增量计算中的使用、避免Shuffle的技巧。

增量窗口函数优化

Over窗口函数的倾斜问题、自定义增量窗口聚合、滑动窗口的优化。

数据重分区策略

Repartition与Coalesce的选择、自定义Partitioner、Range分区与Hash分区。

增量Join优化

增量Stream-Stream Join、增量Lookup Join、倾斜Key的Join优化。

状态后端优化

RocksDB状态后端配置、状态TTL管理、大状态导致的倾斜问题。

增量聚合算子优化

Aggregate算子的倾斜、自定义增量聚合函数、增量聚合的Checkpoint优化。

算子Checkpoint

数据倾斜的监控与告警

Flink/Spark的Web UI监控、自定义Metrics、告警规则设置。

倾斜Key的自动处理

基于规则的自动加盐、基于机器学习的倾斜检测、自适应执行引擎。

增量计算中的背压问题

背压与数据倾斜的关系、背压监控、背压缓解策略。

数据倾斜的测试方法

模拟数据倾斜、单元测试与集成测试、性能基准测试。

案例实战1：实时大屏

实时大屏数据倾斜处理（PV/UV统计中的倾斜）。

案例实战2：双十一订单

双十一订单实时计算中的倾斜优化。

案例实战3：用户行为日志

用户行为日志分析中的倾斜处理。

案例实战4：推荐系统

实时推荐系统中的特征计算倾斜。

案例实战5：物联网设备

物联网设备数据流中的倾斜优化。

增量计算框架对比

Flink vs Spark Streaming vs Kafka Streams的倾斜处理能力。

数据倾斜与数据一致性

Exactly-Once语义下的倾斜处理、端到端一致性保证。

一致性Exactly-Once

资源调度优化

动态资源分配、Task并行度调整、Slot管理。

数据倾斜的常见误区

加盐万能论、分区数越多越好、忽略数据特征。

增量计算中的序列化优化

Kryo序列化、自定义序列化器、减少序列化开销。

序列化性能

数据倾斜的运维实践

日志分析、问题排查流程、常见错误码解读。

Serverless增量计算、AI驱动的自动优化、云原生数据倾斜处理。

趋势云原生

课程总结与最佳实践

知识体系回顾、面试高频题、项目落地建议。