VIP20

本课程属于：006-数据质量工程 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据完整性检测与错误修复体系

📚 共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据完整性基础

什么是数据完整性、完整性约束类型（实体、参照、域）、数据损坏的常见原因。

核心概念约束

校验和机制

校验和原理、常见算法（CRC32、MD5、SHA系列）、校验和的应用场景。

数据库约束

主键约束、外键约束、唯一约束、检查约束、默认值约束。

数据库约束

事务概念、原子性、一致性、隔离性、持久性、事务日志的作用。

备份与恢复策略

全量备份、增量备份、差异备份、时间点恢复（PITR）、快照技术。

数据复制与同步

主从复制、多主复制、异步复制、同步复制、冲突检测与解决。

数据校验工具

dbcc（数据库一致性检查）、fsck（文件系统检查）、chkdsk（磁盘检查）。

错误检测与纠正码

汉明码、里德-所罗门码、LRC（纵向冗余校验）、ECC内存。

日志审计与追踪

审计日志、变更数据捕获（CDC）、日志挖掘、不可变日志存储。

数据完整性在分布式系统中的应用

CAP理论、最终一致性、Quorum机制、向量时钟。

分布式一致性

数据清洗与去重

重复数据检测、模糊匹配、标准化、ETL过程中的完整性保障。

文件系统完整性

写时复制（CoW）、日志结构文件系统、ZFS与Btrfs的完整性特性。

文件系统ZFS

数据完整性在云存储中的应用

对象存储的校验、S3的ETag、云端数据校验策略。

区块链与数据完整性

哈希链、默克尔树、不可篡改特性、分布式账本。

区块链哈希

数据完整性监控

监控指标、告警策略、自动化巡检、健康检查脚本。

数据完整性测试

测试用例设计、压力测试、故障注入、混沌工程。

测试混沌工程

数据修复策略

基于备份的修复、基于日志的重做、基于校验的修复、手动修复。

数据完整性在金融行业的应用

监管要求、对账系统、交易完整性、审计合规。

数据完整性在医疗行业的应用

HIPAA合规、电子病历完整性、影像数据校验。

数据完整性在物联网中的应用

传感器数据校验、边缘计算中的数据完整性、时间序列数据修复。

物联网边缘计算

数据完整性在AI/ML中的应用

训练数据质量、特征工程中的完整性、模型版本控制。

数据完整性在DevOps中的应用

CI/CD管道中的数据校验、基础设施即代码的完整性。

数据完整性在微服务架构中的应用

服务间数据一致性、Saga模式、事件溯源。

数据完整性在数据仓库中的应用

ETL过程中的完整性、维度建模中的一致性、缓慢变化维度。

数据仓库维度建模

数据完整性在实时流处理中的应用

Exactly-Once语义、水位线、状态一致性。

流处理Exactly-Once

数据完整性在数据湖中的应用

元数据管理、数据目录、数据血缘、数据质量规则。

数据湖元数据

数据完整性在数据加密中的应用

加密与完整性、数字签名、HMAC、认证加密。

数据完整性在数据脱敏中的应用

脱敏后的完整性、可逆脱敏、数据掩码。

数据完整性在数据归档中的应用

归档格式的完整性、长期保存策略、数据迁移校验。

归档长期保存

数据完整性最佳实践

策略制定、工具选型、团队协作、持续改进、案例总结。

最佳实践总结