VIP20
本课程属于：090-Snowflake云数据仓库与数据工程 后端、数据与云原生工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Snowflake批流数据管道与任务编排

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入与全景认知
目标=Snowflake批流数据管道… · 核心概念 · 技术栈边界
课程导入全景认知
02
Snowflake数据管道基础对象
目标=数据库 · 模式 · 表
Snowflake数据管道基础对象
03
批量数据加载实战
目标=使用COPY INTO从内部S… · 外部Stage · 云存储加载数据
批量数据加载实战COPY
04
Snowpipe持续加载
目标=创建Pipe · 配置自动摄取 · 管理通知集成
Snowpipe持续加载
05
流对象与变更数据捕获
目标=创建Stream捕获表级DML… · 理解偏移量 · 消费变更
流对象变更数据捕获
06
任务基础与调度
目标=创建Task · 设置调度频率 · 任务依赖
任务基础调度
07
任务编排进阶
目标=任务树 · 条件任务 · 任务链
任务编排进阶目标=任务树
08
批流一体管道设计
目标=结合Stream与Task实现… · 对比Snowpipe与Stream+…
批流一体管道设计Stream
09
动态表与声明式管道
目标=创建Dynamic Table · 定义刷新模式 · 目标延迟
动态表声明式管道
10
外部函数与外部网络访问
目标=创建API集成 · 外部函数 · 外部网络访问
外部函数外部网络访问
11
数据转换与SQL管道
目标=使用CTAS · INSERT OVERWRITE · MERGE
SQL数据转换
12
JavaScript存储过程与任务
目标=编写JavaScript存储过… · 在任务中调用 · 处理动态SQL
JavaScript存储过程
13
Python与Snowpark在管道中的应用
目标=使用Snowpark Data… · Python存储过程 · UDF在任务中实现高级转换
PythonSnowpark
14
管道中的半结构化数据处理
目标=加载JSON · Avro · Parquet
管道半结构化数据处理
15
数据质量与校验
目标=在管道中实现数据质量检查 · 约束 · 断言
数据质量校验
16
监控与可观测性
目标=使用ACCOUNT_USAGE · INFORMATION_SCHEMA · 任务历史
监控可观测性
17
告警与通知集成
目标=配置通知集成 · 邮件 · Webhook
告警通知集成
18
安全与权限管理
目标=管道相关对象的访问控制 · 角色层次 · 集成安全
安全权限管理
19
成本管理与优化
目标=计算仓库选择 · 自动挂起与恢复 · 任务与Snowpipe成本分析
成本管理优化
20
性能调优
目标=仓库大小 · 集群 · 查询优化
性能调优目标=仓库大小
21
错误处理与恢复
目标=任务失败重试 · 流偏移量重置 · Snowpipe错误处理
错误处理恢复
22
版本控制与CI/CD
目标=使用Git集成 · SchemaChange · 数据库变更管理
CI/CD版本控制
23
端到端批流管道实战
目标=从数据源到Snowflake再… · 构建完整批流一体管道并编排任务
端到端批流管道实…Snowflake
24
实时场景实战
目标=使用Snowpipe Stre… · Stream与Task实现低延迟数据…
实时场景实战Snowpipe
25
与外部编排工具集成
目标=Airflow · Dagster · Prefect调用Snowflake…
外部编排工具集成Airflow
26
数据湖与外部表管道
目标=外部表 · Iceberg表 · Delta Lake集成在批流管道中…
数据湖外部表管道
27
机器学习管道编排
目标=使用Snowflake ML · 特征存储 · 模型训练与推理任务在管道中的集成
机器学习管道编排Snowflake
28
多源异构数据集成
目标=从Kafka · 数据库CDC · API
多源异构数据集成Kafka
29
管道治理与元数据管理
目标=数据血缘 · 标签 · 分类
管道治理元数据管理
30
综合项目与最佳实践
目标=设计并实现一个生产级Snowf… · 包含架构 · 实施
综合项目最佳实践