VIP20
本课程属于：081-DLP数据防泄露审计日志巡检 密码学工程与数据安全 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

历史数据清理与归档实战

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据生命周期与治理基础
数据生命周期的六个阶段 · 数据治理框架概述 · 历史数据管理的挑战
数据生命周期治理基础
02
历史数据清理概述
清理与归档的定义 · 清理的触发条件 · 业务价值与成本考量
历史数据清理概述清理
03
数据质量评估方法
完整性 · 一致性 · 准确性
数据质量评估方法完整性
04
脏数据识别与分类
重复数据 · 缺失值 · 异常值
脏数据识别分类
05
数据探查工具实战
使用Python Pandas进行数… · describe · info
数据探查工具实战Python
06
数据清洗——缺失值处理
删除 · 填充（均值 · 中位数
数据清洗缺失值处理
07
数据清洗——重复数据去重
基于单列/多列的重复检测 · 保留策略 · 模糊匹配（fuzzywuzzy）
数据清洗重复数据去重
08
数据清洗——异常值处理
3σ原则 · IQR箱线图 · DBSCAN聚类检测
数据清洗异常值处理
09
数据清洗——格式标准化
日期统一 · 字符编码转换 · 地址分解析
数据清洗格式标准化
10
数据清洗——逻辑校验与关联修复
跨表一致性 · 外键约束 · 业务规则校验脚本
数据清洗逻辑校验
11
数据归档概念与策略
归档与备份的区别 · 冷热数据分离 · 归档周期设计
数据归档概念策略
12
归档存储选型
HDFS · 对象存储（OSS/S3） · 廉价NAS
归档存储选型HDFS
13
数据库表分区与归档
MySQL/PostgreSQL分区… · 分区裁剪 · 历史分区迁移
数据库表分区归档
14
数据导出与归档工具
mysqldump · pg_dump · gzip压缩
数据导出归档工具
15
ETL管道清理归档
使用Apache NiFi / Ai…
ETL管道清理归档
16
增量清理与全量清理策略
时间窗口 · 增量标识字段（modify_time… · 全量对比方案
增量清理全量清理策略
17
数据脱敏与合规
GDPR · 个人信息保护法要求 · 静态脱敏与动态脱敏工具
数据脱敏合规
18
元数据管理与数据血缘
采集元数据 · 记录清理归档历史 · 数据地图展示
元数据管理数据血缘
19
清理与归档的监控告警
任务执行日志 · 失败重试 · 磁盘空间预警
清理归档的监控告警
20
回滚与恢复预案
归档数据恢复流程 · 时间点恢复演练 · 版本管理
回滚恢复预案
21
性能优化
批量操作 · 索引策略 · 锁机制
性能优化批量操作
22
大规模数据清理实战（上）
基于Spark / Pandas U…
大规模数据清理实…Spark
23
大规模数据清理实战（下）
使用Dask处理内存超大数据集 · 动态分区优化
大规模数据清理实…Dask
24
归档数据查询与检索
快速检索索引设计 · Hive/ClickHouse查询归…
归档数据查询检索
25
自动清理归档系统架构设计
整体架构 · 模块划分（调度 · 清洗
自动清理归档系统…整体架构
26
日志与审计
清理前的快照记录 · 清理后的对比报告 · 操作员审计追踪
日志审计
27
业务方沟通与规则确认
如何与运营 · 财务部门协商保留期限 · 清理窗口期
业务方沟通规则确认
28
测试与灰度发布
沙箱环境验证清理 SQL 正确性 · 小流量灰度 · 回滚脚本
测试灰度发布
29
案例1
电商订单历史数据清理与归档——6个月…
案例1电商订单历史数据…
30
案例2
金融系统交易流水清理——数据保留5年 · 每年清理一次 · 性能提升50%
案例2金融系统交易流水…