VIP20
本课程属于：090-Snowflake云数据仓库与数据工程 后端、数据与云原生工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

Snowflake企业数据管道开发与自动化加载

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入与Snowflake数据管道全景
目标=学习目标 · 企业数据管道核心概念 · Snowflake在数据管道中的角色
Snowflake课程导入
02
Snowflake架构与数据管道基础
目标=虚拟仓库 · 存储层 · 云服务层如何支撑数据管道
Snowflake架构
03
数据加载方式概览与选型
目标=COPY INTO · Snowpipe · Snowpipe Streaming
数据加载方式概览选型
04
批量加载实战
目标=使用COPY INTO从内部阶… · 文件格式定义 · 加载选项
批量加载实战COPY
05
外部阶段与云存储集成
目标=配置Amazon S3 · Azure Blob Storage · Google Cloud Stora…
外部阶段云存储集成
06
半结构化数据加载
目标=JSON · Avro · Parquet
半结构化数据加载JSON
07
Snowpipe自动化加载基础
目标=创建管道 · 配置通知集成 · S3事件通知
Snowpipe自动化加载基础
08
Snowpipe高级配置与运维
目标=管道参数调优 · 错误通知 · 管道暂停与恢复
Snowpipe高级配置
09
Snowpipe Streaming实时加载
目标=架构原理 · Java SDK使用 · 行级插入
SnowpipeStreaming
10
Kafka连接器构建实时管道
目标=配置Snowflake Kaf… · 主题到表映射 · Schema Registry集成
Kafka连接器构建实时管…
11
Spark连接器与大数据管道
目标=使用Snowflake Spa… · DataFrame API · 分区并行加载
Spark连接器
12
数据转换与管道内处理
目标=在加载过程中使用COPY IN… · Snowpipe转换 · Streams与Tasks实现增量处…
数据转换管道内处理
13
Streams与Tasks实现CDC管道
目标=创建Stream捕获变更 · Task调度与依赖 · MERGE语句应用
StreamsTasks
14
动态表与声明式管道
目标=动态表概念 · 定义与刷新模式 · 与Streams/Tasks对比
动态表声明式管道
15
数据管道编排与调度
目标=使用Snowflake Tas… · 外部编排工具（Airflow · dbt
数据管道编排调度
16
数据管道监控与可观测性
目标=使用ACCOUNT_USAGE… · INFORMATION_SCHEMA · Snowflake Trail
数据管道监控可观测性
17
数据管道安全与治理
目标=基于角色的访问控制 · 网络策略 · 数据脱敏
数据管道安全治理
18
数据管道性能优化
目标=仓库大小与自动挂起 · 加载文件大小与并行度 · 聚簇
数据管道性能优化目标=仓库大小
19
数据管道成本管理
目标=计算与存储成本分析 · Snowpipe成本 · 自动加载成本优化
数据管道成本管理目标=计算
20
错误处理与数据质量
目标=加载错误捕获 · 验证模式 · 数据质量检查
错误处理数据质量
21
企业级数据管道设计模式
目标=Lambda架构 · Kappa架构 · 批流一体
企业级数据管道设…Lambda
22
实战项目一
目标=构建电商订单批处理管道 · 使用Snowpipe自动加载 · Streams与Tasks增量处理
实战项目一目标=构建电商订…
23
实战项目二
目标=构建实时点击流管道 · 动态表实时聚合 · 监控与告警配置
实战项目二目标=构建实时点…
24
实战项目三
目标=跨云数据共享与管道 · 外部表 · 数据市场构建跨组织数据管道
实战项目三目标=跨云数据共…
25
实战项目四
目标=数据管道CI/CD与自动化部署 · SchemaChange · Terraform
实战项目四CI/CD
26
数据管道迁移与现代化
目标=从传统ETL迁移到Snowfl… · 从本地到云 · 从批到流
数据管道迁移现代化
27
机器学习与数据管道集成
目标=使用Snowpark构建特征管… · 模型训练与推理管道 · 与MLOps工具集成
机器学习数据管道集成
28
数据管道中的AI辅助
目标=使用Snowflake Cor… · LLM函数进行文本处理 · 异常检测
AI数据管道
29
数据管道故障排查与恢复
目标=常见错误诊断 · 网络与权限问题 · 加载失败恢复
数据管道故障排查恢复
30
课程总结与未来趋势
目标=核心知识点回顾 · 企业级最佳实践汇总 · Snowflake数据管道新特性展望
课程总结未来趋势