VIP16
本课程属于：041-金融数据质量、血缘与调度治理 智能金融与金融工程 · 共 16 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Airflow数据依赖与补数回填实战

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入
目标=Airflow数据依赖与补数回… · 核心价值 · 整体课程框架与实战环境准备
课程导入Airflow
02
Airflow基础回顾
目标=DAG · Task · Operator
Airflow基础回顾
03
数据依赖核心概念
目标=任务依赖 · 数据依赖 · 时间依赖
数据依赖核心概念目标=任务依赖
04
DAG调度与时间语义
目标=execution_date · logical_date · data_interval_star…
DAG调度
05
任务间依赖管理
目标=set_upstream · set_downstream · 位运算符
任务间依赖管理set
06
数据感知调度
目标=Dataset · DatasetAlias · 数据驱动DAG触发与跨DAG数据依赖…
数据感知调度Dataset
07
外部系统依赖
目标=ExternalTaskSen… · TriggerDagRunOpera… · 跨DAG依赖与外部任务状态检测
外部系统依赖ExternalTask…
08
动态依赖与条件分支
目标=BranchPythonOpe… · ShortCircuitOperat… · TriggerRule与动态任务映射
动态依赖条件分支
09
补数回填基础
目标=backfill概念 · 适用场景 · CLI与REST API两种回填方式…
补数回填基础backfill
10
Airflow CLI补数实战
目标=airflow dags ba… · 日期范围 · 并发控制与重跑策略
AirflowCLI
11
REST API补数实战
目标=通过API触发DAG Run · 传递conf参数 · 批量补数与状态监控
RESTAPI
12
回填与重跑的区别
目标=backfill · clear · rerun
回填重跑的区别
13
Catchup机制详解
目标=catchup=True/Fa… · 历史任务自动补跑与关闭策略
Catchup机制详解
14
时间窗口与数据分区
目标=按小时 · 天 · 周
时间窗口数据分区
15
幂等性设计
目标=任务幂等 · 分区覆盖写 · 增量合并
幂等性设计目标=任务幂等
16
依赖与补数的冲突处理
目标=上游未就绪 · 下游已运行 · 跨周期依赖与依赖阻塞的解决方案
依赖补数的冲突处理
17
并发与资源控制
目标=max_active_runs · concurrency · pool
并发资源控制
18
失败重试与告警
目标=retries · retry_delay · exponential_backof…
失败重试告警
19
监控与可观测性
目标=Airflow UI · Grid视图 · Gantt图
监控可观测性
20
日志与排查
目标=任务日志 · Scheduler日志 · Worker日志定位补数失败与依赖异…
日志排查
21
实战案例一
目标=电商订单小时级DAG的依赖编排…
实战案例一DAG
22
实战案例二
目标=跨DAG数据依赖场景下的上游延…
实战案例二DAG
23
实战案例三
目标=使用Dataset实现数据到达…
实战案例三Dataset
24
实战案例四
目标=大规模历史数据回填的性能优化与…
实战案例四目标=大规模历史…
25
实战案例五
目标=多团队协作下的依赖契约 · SLA与补数责任边界设计
实战案例五目标=多团队协作…
26
常见问题一
目标=补数后数据重复 · 遗漏 · 时间错位的原因分析与修复方法
常见问题一目标=补数后数据…
27
常见问题二
目标=DAG卡住 · 任务不触发 · 依赖永远不满足的排查思路
常见问题二DAG
28
常见问题三
目标=时区 · 夏令时 · 调度偏移对补数范围与数据分区的影响
常见问题三目标=时区
29
最佳实践
目标=DAG设计规范 · 依赖分层 · 幂等保障
最佳实践DAG
30
综合提升
目标=从单DAG到数据平台 · 构建可观测 · 可回填
综合提升DAG