VIP20
本课程属于：003-实时流处理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

实时流处理架构与风控业务系统设计

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
第1章
流处理概述
实时流处理 vs 批处理，典型应用场景（风控、监控、推荐），主流框架对比（Flink/Spark Streaming/Storm）。
对比场景框架
第2章
核心概念
数据流（DataStream）、事件时间与处理时间、水位线（Watermark）、窗口（Window）机制详解。
时间语义Watermark窗口
第3章
Flink 基础架构
JobManager / TaskManager 角色、任务槽（Slot）与并行度、数据交换策略（Forward/Keyed/Broadcast）。
架构并行度数据交换
第4章
Flink 编程模型
DataStream API 核心算子（map/filter/keyBy/window）、Flink SQL 入门、Table & SQL API 概览。
API算子SQL
第5章
状态管理与容错
有状态算子、Keyed State 与 Operator State、Checkpoint 与 Savepoint、Exactly-Once 语义实现。
状态容错Exactly-Once
第6章
时间语义与 Watermark
乱序数据处理、Watermark 生成策略（周期性/punctuated）、Allowed Lateness 与 Side Output。
乱序Watermark延迟
第7章
窗口操作实战
滚动窗口（Tumbling）、滑动窗口（Sliding）、会话窗口（Session）、全局窗口（Global）与自定义窗口。
窗口类型实战自定义
第8章
连接操作（Join）
Window Join、Interval Join、Temporal Join、Lookup Join 的使用场景与实现。
JoinTemporalLookup
第9章
异步 I/O 与外部系统
AsyncIO 原理与使用、写入 Kafka / Redis / HBase / Elasticsearch 的最佳实践。
异步外部存储最佳实践
第10章
反压机制
Flink 反压原理（基于信用度的流控）、反压监控与定位、反压调优策略。
反压流控调优
第11章
内存管理与调优
Flink 内存模型（堆内/堆外）、网络缓冲区、RocksDB 状态后端调优、GC 优化。
内存RocksDBGC
第12章
部署与运维
Flink 集群部署模式（Session/Per-Job/Application）、Kubernetes 部署、日志与监控（Prometheus + Grafana）。
部署K8s监控
第13章
Flink SQL 进阶
动态表（Dynamic Table）、连续查询（Continuous Query）、维表关联（Temporal Join）、Top-N 与去重。
SQL动态表维表
第14章
复杂事件处理（CEP）
Flink CEP 模式定义、匹配与跳过策略、超时处理、实战案例（交易异常检测）。
CEP模式匹配异常检测
第15章
流式机器学习
在线学习框架（Flink ML）、特征工程流水线、模型在线推理与更新。
机器学习Flink ML在线推理
第16章
Kafka 深度集成
Kafka 作为 Source/Sink 的配置、分区分配策略、Offset 提交机制、Exactly-Once 端到端语义。
KafkaOffset端到端
第17章
流式 ETL 实战
实时数据清洗、格式转换、多流合并、数据湖写入（Iceberg / Hudi）。
ETL数据湖Iceberg
第18章
实时数仓架构
分层设计（ODS/DWD/DWS/ADS）、Flink 与 Hive 集成、实时物化视图。
数仓分层物化视图
第19章
流批一体
Flink 批处理模式、Batch 与 Stream 的 API 统一、动态表与批流转换。
流批一体Batch动态表
第20章
性能基准测试
吞吐量与延迟指标、Nexmark 测试套件、常见性能瓶颈分析。
性能基准测试Nexmark
第21章
监控与告警
Flink Web UI 深度解读、Metrics 系统（Count/Gauge/Histogram）、自定义 Reporter。
监控Metrics告警
第22章
安全与权限
Kerberos 认证、SSL/TLS 加密、Flink SQL 权限控制（基于 Ranger）。
安全认证Ranger
第23章
多集群与容灾
主备集群切换、跨区域复制、灾难恢复策略（基于 Savepoint）。
容灾多集群Savepoint
第24章
资源调度优化
动态资源分配、弹性伸缩（Reactive Mode）、细粒度资源管理。
资源调度弹性伸缩Reactive
第25章
数据倾斜处理
KeyBy 倾斜检测、自定义分区器、MiniBatch 与 LocalGlobal 聚合。
数据倾斜分区MiniBatch
第26章
大规模状态优化
状态分区、增量 Checkpoint、RocksDB 压缩策略、状态 TTL。
状态优化RocksDBTTL
第27章
网络与序列化
Flink 序列化框架（TypeInformation）、Kryo 与 Avro 选择、网络缓冲区调优。
序列化Kryo网络
第28章
实战案例一：实时用户行为分析
PV/UV、漏斗分析、留存分析等核心指标实时计算。
用户行为漏斗留存
第29章
实战案例二：实时风控系统
规则引擎、特征计算、模型推理构建实时风控流水线。
风控规则引擎模型推理
第30章
实战案例三：实时数据同步与 CDC
Debezium + Kafka + Flink 实现 MySQL 实时同步。
CDCDebezium数据同步