VIP10
本课程属于：078-自动驾驶数据采集回放与治理工程 智能汽车与新能源汽车工程 · 共 10 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

自动驾驶数据清洗去重与质量治理工程

共计 30 章节
可可资料掘金营 · 点击在线试看
01
课程导入
目标=自动驾驶数据工程全景 · 数据清洗去重与质量治理的定义 · 学习目标
课程导入目标=自动驾驶数…
02
自动驾驶数据基础
目标=多模态传感器数据（摄像头 · 激光雷达 · 毫米波雷达
自动驾驶数据基础目标=多模态传感…
03
数据质量维度与挑战
目标=完整性 · 准确性 · 一致性
数据质量维度挑战
04
数据清洗概述
目标=清洗目标 · 原则 · 通用流程（ profiling
数据清洗概述目标=清洗目标
05
缺失值处理
目标=缺失机制识别 · 删除 · 填充（统计量
缺失值处理目标=缺失机制识…
06
异常值检测与处理
目标=统计方法（Z-score · IQR） · 机器学习方法（孤立森林
异常值检测处理
07
噪声数据清洗
目标=滤波方法（均值 · 中值 · 高斯
噪声数据清洗目标=滤波方法
08
数据去重基础
目标=重复数据定义 · 精确去重与近似去重 · 去重评价指标（准确率
数据去重基础目标=重复数据定…
09
精确去重方法
目标=哈希算法（MD5 · SHA） · 排序去重
精确去重方法MD5
10
近似去重与相似度计算
目标=编辑距离 · Jaccard相似度 · 余弦相似度
近似去重相似度计算
11
图像与点云去重
目标=感知数据重复场景（连续帧 · 重叠区域） · 基于特征匹配的去重
图像点云去重
12
时序数据去重
目标=时间序列重复模式 · 基于滑动窗口与动态时间规整的去重 · 多传感器时间对齐与去重
时序数据去重目标=时间序列重…
13
数据质量治理框架
目标=DAMA-DMBOK · 数据治理成熟度模型 · 质量规则引擎
数据质量治理框架DAMA-DMBOK
14
数据质量评估与监控
目标=质量指标定义 · 评估方法 · 监控告警
数据质量评估监控
15
数据清洗与去重流水线
目标=ETL/ELT流程 · 批处理与流处理 · 任务调度（Airflow
数据清洗去重流水线
16
大规模数据清洗去重实战
目标=基于Spark的分布式清洗 · 基于Flink的实时去重 · 性能优化与资源调优
大规模数据清洗去…Spark
17
自动驾驶场景案例一
目标=路测数据清洗：多车采集数据去重 · 无效片段过滤 · 传感器故障数据清洗
自动驾驶场景案例…目标=路测数据清…
18
自动驾驶场景案例二
目标=仿真数据治理 · 仿真数据清洗去重 · 质量验证
自动驾驶场景案例…目标=仿真数据治…
19
自动驾驶场景案例三
目标=标注数据质量治理 · 标注去重 · 错误标注清洗
自动驾驶场景案例…目标=标注数据质…
20
数据隐私与合规
目标=脱敏 · 匿名化 · GDPR与数据安全法
数据隐私合规
21
常见问题与解决方案
目标=数据倾斜 · 内存溢出 · 去重误删
常见问题解决方案
22
工具与平台选型
目标=开源工具（OpenRefine · Dedupe · DataCleaner）与商业平台对…
工具平台选型
23
数据质量治理组织与流程
目标=团队角色 · 流程规范 · 质量文化
数据质量治理组织流程
24
综合实战项目一
目标=构建端到端数据清洗去重流水线 · 方案设计 · 实现
综合实战项目一目标=构建端到端…
25
综合实战项目二
目标=数据质量治理平台开发：规则配置 · 质量评估 · 监控告警
综合实战项目二目标=数据质量治…
26
性能优化与成本控制
目标=分布式计算优化 · 存储优化 · 去重算法加速
性能优化成本控制
27
前沿技术展望
目标=AI辅助数据清洗 · 大模型在数据治理中的应用 · 联邦学习与隐私计算
前沿技术展望AI
28
课程总结与知识体系梳理
目标=核心知识点回顾 · 技能树构建 · 学习路径建议
课程总结知识体系梳理
29
认证与职业发展
目标=相关认证（CDMP · 数据治理工程师） · 岗位需求
认证职业发展
30
课程结业项目答辩与评审
目标=项目展示 · 代码评审 · 质量评估
课程结业项目答辩评审