VIP20

本课程属于：021-数据契约治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

流批一体下的Schema治理

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

流批一体概述

Lambda架构与Kappa架构的对比、流批一体的核心价值、实时数仓与离线数仓的融合趋势。

架构实时离线

Schema基础概念

什么是Schema、Schema在数据系统中的角色、结构化数据与半结构化数据的Schema差异。

Schema Registry入门

Schema Registry的作用、主流Schema Registry对比（Confluent、Apicurio、Hortonworks）、选型建议。

注册中心选型

Avro Schema详解

Avro基础语法、基本类型与复杂类型、Record与Enum的定义、Schema兼容性规则。

Protobuf Schema详解

Protobuf语法基础、Message定义、字段类型与编号、Oneof与Map的使用。

JSON Schema详解

JSON Schema核心关键字、验证规则、与Avro/Protobuf的互操作性。

Schema兼容性策略

向后兼容、向前兼容、完全兼容、不兼容场景分析、实际项目中的选择。

兼容性策略

Schema演化与版本管理

Schema版本号设计、版本演进策略、多版本共存方案。

流批一体中的Schema注册与发现

Kafka与Schema Registry集成、Flink与Schema Registry集成、Spark与Schema Registry集成。

集成KafkaFlink

Flink SQL中的Schema管理

Flink SQL DDL中的Schema定义、Schema推导与类型映射、时间属性与Watermark的Schema表达。

Spark Structured Streaming中的Schema管理

Spark Schema定义、Streaming DataFrame的Schema推断、Schema与Checkpoint的关联。

Kafka Connect与Schema

Source Connector的Schema生成、Sink Connector的Schema映射、Single Message Transform对Schema的影响。

Kafka ConnectETL

Schema在数据湖中的应用

Apache Iceberg的Schema演进、Delta Lake的Schema约束、Hudi的Schema处理。

数据湖IcebergDelta

Schema在数据仓库中的应用

Hive Metastore中的Schema、Schema与分区的关系、Schema变更对查询的影响。

数据仓库Hive

Schema血缘与影响分析

Schema血缘追踪、上游Schema变更对下游的影响、自动化影响分析工具。

血缘影响分析

Schema质量与校验

Schema语法校验、Schema语义校验、Schema与数据的一致性校验。

Schema治理平台设计

治理平台的核心功能、元数据采集与存储、Schema变更审批流程。

Schema与数据安全

Schema中的敏感字段标记、基于Schema的脱敏策略、Schema级别的访问控制。

Schema与数据质量

Schema约束与数据质量规则、Schema违规数据监控、Schema驱动的数据清洗。

数据质量监控

Schema与数据建模

维度建模中的Schema设计、事实表与维度表的Schema规范、星型模型与雪花模型的Schema差异。

Schema与API治理

Schema作为API契约、Schema与RESTful API的映射、Schema与gRPC的集成。

Schema与数据迁移

Schema迁移策略、在线Schema变更、离线Schema重建。

Schema与多环境管理

开发、测试、生产环境的Schema同步、Schema差异比对、环境间Schema发布。

Schema与CI/CD集成

Schema变更的自动化测试、Schema兼容性检查流水线、Schema发布与回滚。

Schema与监控告警

Schema注册失败告警、Schema兼容性违规告警、Schema使用频率监控。

Schema与成本优化

Schema精简与字段裁剪、Schema压缩与序列化效率、Schema复用减少存储。

Schema与多语言支持

Java/Python/Go中的Schema定义与使用、跨语言Schema一致性保障。

多语言跨语言

Schema治理最佳实践

命名规范、字段类型选择、默认值设计、文档化要求。

最佳实践规范

Schema治理案例分析

某电商实时数仓的Schema治理实践、某金融风控系统的Schema演进。

案例电商金融

Schema治理未来趋势

Schema as Code、AI辅助Schema设计、Schema与Data Mesh的融合。

趋势Data Mesh