VIP20

本课程属于：028-数据平台调度系统 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

Flink任务在调度系统中的部署

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

Flink概述与调度系统简介

Flink是什么、为什么需要调度系统、Flink on YARN/K8s/Mesos架构对比。

Flink任务部署模式详解

Session模式、Per-Job模式、Application模式的区别与选型。

Flink on YARN实战

环境准备、提交命令、资源参数配置、日志查看与问题排查。

Flink on Kubernetes实战

K8s集群搭建、Flink Operator部署、配置文件编写、滚动升级。

Flink任务生命周期管理

任务提交、启动、暂停、恢复、停止的最佳实践。

运维生命周期

Flink高可用配置

JobManager HA、TaskManager故障恢复、Checkpoint与Savepoint机制。

Flink资源动态扩缩容

基于YARN的弹性伸缩、基于K8s的HPA自动扩缩容。

Flink任务监控与告警

Metrics系统、Prometheus+Grafana集成、自定义告警规则。

Flink任务日志采集与分析

ELK/EFK日志栈搭建、日志级别动态调整、任务异常日志定位。

Flink任务依赖管理

任务间依赖关系、DAG调度、外部系统（Kafka/HDFS/DB）连接配置。

Flink任务参数调优

并行度设置、内存配置、网络缓冲、状态后端选择。

Flink任务安全与权限控制

Kerberos认证、RBAC权限模型、数据脱敏策略。

Flink任务版本管理与灰度发布

多版本共存、蓝绿部署、金丝雀发布策略。

Flink任务数据一致性保障

Exactly-Once语义实现、端到端一致性、两阶段提交协议。

一致性Exactly-Once

Flink任务性能压测与基准测试

压测工具选型、指标采集、瓶颈分析。

Flink任务异常处理与自愈

任务重启策略、失败重试机制、自动拉起脚本。

Flink任务数据倾斜处理

KeyBy倾斜、窗口倾斜、自定义分区器优化。

Flink任务反压机制与处理

反压原理、监控反压、背压问题定位与解决。

Flink任务Checkpoint深度优化

Checkpoint超时处理、增量Checkpoint、异步快照。

Checkpoint优化

Flink任务Savepoint管理与迁移

Savepoint创建、任务升级、集群迁移实战。

Savepoint迁移

Flink任务多集群联邦调度

跨集群任务分发、数据同步、统一管理平台。

联邦多集群

Flink任务资源配额管理

CPU/Memory/Network配额、公平调度、优先级队列。

Flink任务与CICD集成

GitLab CI/Jenkins Pipeline、自动化构建与部署、镜像管理。

Flink任务配置中心管理

Apollo/Nacos配置中心、动态配置下发、配置热更新。

配置中心热更新

Flink任务元数据管理

Catalog管理、表结构变更、Schema Registry集成。

元数据Schema

Flink任务数据血缘追踪

数据来源、转换过程、输出目标的全链路追踪。

Flink任务成本优化

资源利用率分析、Spot实例使用、任务合并与拆分策略。

Flink任务灾备与容灾

异地多活、主备切换、数据备份与恢复方案。

Flink任务调度平台建设

自研调度系统架构、任务编排、可视化运维。

Flink任务部署最佳实践总结

常见问题FAQ、性能优化清单、运维SOP文档。