VIP20
本课程属于：019-Lakehouse架构 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据契约驱动开发流程

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据契约基础
什么是数据契约、为什么需要数据契约、核心要素：Schema、语义、SLA。
Schema语义SLA
02
数据契约与数据治理
数据契约在治理中的角色、与数据血缘、数据质量的关系。
治理血缘质量
03
数据契约的Schema设计
Avro、Protobuf、JSON Schema对比，如何选择Schema格式。
AvroProtobufJSON Schema
04
数据契约的语义层
命名规范、数据类型定义、枚举值管理、字段描述最佳实践。
命名枚举描述
05
数据契约的SLA定义
数据新鲜度、完整性、准确性、可用性的度量方法。
新鲜度完整性准确性
06
数据契约的版本管理
语义化版本控制、向后/向前兼容性、破坏性变更处理。
语义化版本兼容性
07
数据契约的注册中心
Schema Registry原理、Confluent实战、自建注册中心方案。
Schema RegistryConfluent
08
数据契约的发布流程
CI/CD集成、自动化测试、审批流程、蓝绿/金丝雀发布策略。
CI/CD蓝绿金丝雀
09
数据契约的消费端
消费者发现契约、契约验证、降级策略、契约缓存。
消费端验证降级
10
数据契约的生产端
生产者遵守契约、契约生成、测试、监控。
生产端生成监控
11
数据契约与API契约
OpenAPI与AsyncAPI对比、协同、统一契约管理。
OpenAPIAsyncAPI协同
12
数据契约在微服务中的应用
服务间数据交换、事件驱动架构、CQRS与契约。
微服务事件驱动CQRS
13
数据契约在数据湖/仓中的应用
湖仓一体、Delta Lake、Iceberg与契约。
数据湖Delta LakeIceberg
14
数据契约在实时流处理中的应用
Kafka Streams、Flink、实时数据质量监控。
Kafka StreamsFlink实时质量
15
数据契约在批处理中的应用
Spark、Hive与契约，批处理数据质量校验。
SparkHive批处理
16
数据契约的测试策略
Pact、Spring Cloud Contract，与单元/集成测试的关系。
PactSpring Cloud Contract
17
数据契约的监控与告警
契约违反检测、数据质量指标监控、告警规则与通知。
监控告警质量指标
18
数据契约的治理工具
Apache Atlas、DataHub、Amundsen与契约集成。
AtlasDataHubAmundsen
19
数据契约的元数据管理
元数据采集、血缘、搜索、可视化。
元数据血缘搜索
20
数据契约的安全与权限
数据脱敏、字段级权限、访问控制、审计日志。
脱敏权限审计
21
数据契约的跨团队协作
契约协商、依赖管理、变更通知、冲突解决。
协作依赖冲突
22
数据契约的文档化
自动生成文档、版本管理、搜索、代码同步。
文档自动生成同步
23
数据契约的演进策略
从无到有、从松散到严格、渐进式采用。
演进渐进式策略
24
数据契约的案例分析
电商、金融、物联网行业数据契约实践。
电商金融物联网
25
数据契约的常见反模式
过度设计、契约膨胀、忽视兼容性、缺乏自动化。
反模式过度设计兼容性
26
数据契约的成熟度模型
Level 0-5 评估、提升方法、评估工具。
成熟度评估模型
27
数据契约与数据网格
数据网格中的契约角色、数据产品、网格治理。
数据网格数据产品治理
28
数据契约的自动化工具链
契约生成器、验证器、模拟器、差异比较工具。
自动化生成器验证器
29
数据契约的未来趋势
AI辅助生成、契约即代码、云原生、OpenDataContract。
AI云原生标准
30
数据契约实战项目
从零搭建契约体系、架构设计、技术选型、实施与评估。
实战架构实施