VIP16
本课程属于：041-金融数据质量、血缘与调度治理 智能金融与金融工程 · 共 16 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Airflow金融ETL DAG编排与重试实战

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入
目标=Airflow在金融ETL中的… · 学习目标 · 整体课程框架与实战环境准备
课程导入Airflow
02
Airflow核心概念
目标=DAG · Task · Operator
Airflow核心概念
03
金融ETL场景分析
目标=数据源类型 · 批处理与流处理 · 数据质量要求
ETL金融
04
Airflow安装与部署
目标=本地环境 · Docker Compose · Kubernetes
Airflow安装
05
DAG定义基础
目标=Python DAG文件结构 · 默认参数 · 调度周期
DAG定义基础
06
Operator详解
目标=BashOperator · PythonOperator · EmailOperator
OperatorBashOperator
07
Task依赖与编排
目标=上下游依赖 · 分支 · 触发规则
Task依赖
08
数据传递与XCom
目标=Task间数据交换 · XCom限制 · 大文件处理与金融数据分片策略
XCom数据传递
09
连接与密钥管理
目标=Airflow Connect… · Variables · Secrets Backend与金融…
连接密钥管理
10
调度与时间语义
目标=Cron表达式 · 执行日期 · 数据间隔
调度时间语义
11
重试机制核心
目标=retries · retry_delay · retry_exponential_…
重试机制核心retries
12
重试策略设计
目标=针对金融API限流 · 数据库死锁 · 网络抖动与第三方服务故障的重试模式
重试策略设计API
13
错误处理与告警
目标=on_failure_call… · SLAs · 邮件/钉钉/企业微信告警与金融值班流…
错误处理告警
14
幂等性与Exactly-Once
目标=金融ETL中重复执行风险 · 幂等写入 · 事务与去重方案
Exactly-Once幂等性
15
数据质量检查
目标=使用Sensor · SQL检查 · Great Expectations…
数据质量检查Sensor
16
实战案例一
目标=银行交易流水每日ETL · 从源系统抽取 · 清洗
实战案例一ETL
17
实战案例二
目标=证券行情数据实时增量拉取 · 处理API限流 · 断点续传与失败重试
实战案例二目标=证券行情数…
18
实战案例三
目标=保险保单数据跨库同步 · 使用分支与动态任务映射处理多表依赖
实战案例三目标=保险保单数…
19
实战案例四
目标=金融风控指标计算DAG · 复杂依赖 · 并行执行与资源池管理
实战案例四DAG
20
实战案例五
目标=监管报送数据生成 · 严格时间窗口 · 审计日志与失败回滚重试
实战案例五目标=监管报送数…
21
监控与可观测性
目标=Airflow UI · Graph View · Gantt
监控可观测性
22
性能优化
目标=并行度 · 池 · 队列
性能优化目标=并行度
23
测试与CI/CD
目标=DAG单元测试 · 集成测试 · Git版本控制
CI/CD测试
24
安全与权限
目标=RBAC · LDAP/OAuth集成 · 审计日志
安全权限
25
常见问题排查
目标=DAG不调度 · 任务卡住 · 重试不生效
常见问题排查DAG
26
高级重试模式
目标=自定义重试逻辑 · 条件重试 · 死信队列
高级重试模式目标=自定义重试…
27
跨系统编排
目标=Airflow与Spark · Flink · dbt
跨系统编排Airflow
28
成本与资源治理
目标=金融云环境下的资源配额 · 成本监控 · 任务优先级与SLA保障
成本资源治理
29
综合项目
目标=设计并实现一个端到端金融ETL… · 包含多源抽取 · 质量检查
综合项目ETL
30
课程总结与进阶
目标=知识体系回顾 · 最佳实践 · Airflow新版本特性与金融数据工…
课程总结进阶