VIP20

本课程属于：021-数据契约治理 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据契约治理 · 实时特征保障

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据契约基础

什么是数据契约、为什么需要数据契约、数据契约的核心要素。

实时特征工程概述

实时特征的定义、与离线特征的区别、典型应用场景。

数据契约在实时特征中的角色

保障数据质量、定义数据SLA、促进跨团队协作。

数据契约的Schema定义

字段命名规范、数据类型定义、约束条件（非空、唯一、枚举）。

数据契约的版本管理

语义化版本控制、向后兼容性策略、版本迁移与废弃流程。

实时特征的数据源契约

Kafka Topic Schema注册、消息格式约定、分区键设计。

实时特征的计算契约

窗口函数定义、时间语义（Processing Time vs Event Time）、迟到数据处理。

窗口时间语义

实时特征的存储契约

特征存储选型（Redis、HBase、Cassandra）、TTL策略、读写模式约定。

数据契约的自动化校验

Schema Registry集成、CI/CD流水线中的契约检查、运行时校验。

实时特征的SLA保障

延迟指标定义（p99、p999）、吞吐量指标、可用性指标。

数据契约的监控与告警

指标采集（Prometheus）、告警规则配置、异常检测。

实时特征的血缘管理

数据血缘追踪、特征依赖图、影响分析。

数据契约的文档化

自动生成文档、文档即代码、文档版本同步。

文档自动化

跨团队协作中的数据契约

生产者与消费者约定、争议解决机制、变更通知流程。

实时特征的质量评估

数据完整性、准确性、一致性、时效性。

数据契约的测试策略

单元测试、集成测试、端到端测试、契约测试。

实时特征的回滚与补偿

数据回滚机制、补偿计算策略、幂等性设计。

数据契约的安全与权限

数据脱敏、访问控制、审计日志。

实时特征的性能优化

特征计算优化、缓存策略、预计算与物化视图。

数据契约的治理工具链

Apache Avro、Protobuf、JSON Schema、OpenAPI。

工具序列化

实时特征的异常处理

数据倾斜处理、背压机制、死信队列。

数据契约的演进与生命周期

契约创建、审核、发布、废弃、归档。

生命周期演进

实时特征的元数据管理

特征目录、特征搜索、特征复用。

元数据目录

数据契约的合规性

GDPR合规、数据保留策略、数据删除流程。

实时特征的A/B测试

特征分流策略、实验指标定义、结果评估。

数据契约的故障演练

混沌工程在数据契约中的应用、故障注入、恢复演练。

实时特征的成本控制

计算资源优化、存储成本优化、数据传输成本优化。

数据契约的生态集成

与数据湖、数据仓库、特征平台的集成。

实时特征的案例实战

推荐系统特征、风控特征、搜索排序特征。

数据契约治理的未来趋势

AI驱动的契约生成、实时数据网格、数据契约即服务。