VIP20
本课程属于：007-数字工地管理 工程项目数字化与成本智能管控 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

移动巡检数据清洗：数字工地管理安全报告性能优化

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
数字工地安全巡检的现状与挑战 · 数据清洗在安全报告性能优化中的核心价…
课程导论数字工地安全巡检…
02
移动巡检数据源解析
常见数据类型（文本 · 图片 · GPS
移动巡检数据源解…常见数据类型
03
数据质量维度
完整性 · 准确性 · 一致性
数据质量维度完整性
04
数据清洗流程总览
从原始数据到高质量安全报告的标准Pi…
数据清洗流程总览Pi
05
缺失值处理（上）
识别缺失模式 · 均值/中位数/众数填充在传感器数据中…
缺失值处理识别缺失模式
06
缺失值处理（下）
基于时间序列的插值法（线性插值 · 前向填充）在GPS轨迹修复中的实践
缺失值处理基于时间序列的插…
07
异常值检测（上）
基于统计方法（Z-score · IQR）识别巡检记录中的离群点
异常值检测Z-score
08
异常值检测（下）
基于机器学习（孤立森林 · LOF）检测复杂工况下的异常行为
异常值检测基于机器学习
09
重复数据去重
基于巡检时间 · 设备ID · 位置坐标的多字段精确与模糊去重策略
重复数据去重基于巡检时间
10
格式标准化
日期时间统一 · 坐标系统转换（WGS84/GCJ02… · 文本编码统一
格式标准化日期时间统一
11
数据集成与对齐
多源数据（巡检App · IoT传感器 · 人工录入）的关联与时间戳对齐
数据集成对齐
12
文本数据清洗
OCR识别结果纠错 · 专业术语统一 · 无效字符过滤
文本数据清洗OCR
13
图像数据预处理
巡检照片的尺寸归一化 · 去噪 · 光照校正与元数据提取
图像数据预处理巡检照片的尺寸归…
14
GPS轨迹清洗
漂移点过滤 · 轨迹压缩（Douglas-Peuck… · 路网匹配
GPS轨迹清洗
15
传感器数据清洗
加速度计 · 温湿度 · 噪声传感器的滤波与校准
传感器数据清洗加速度计
16
数据脱敏与隐私保护
工地人员信息 · 位置敏感数据的匿名化处理
数据脱敏隐私保护
17
数据清洗工具链
Python Pandas · NumPy · OpenCV在巡检数据清洗中的角色
数据清洗工具链Python
18
自动化清洗Pipeline构建
使用Airflow或Prefect编…
Pipeline自动化清洗
19
数据质量监控看板
设计实时指标（缺失率 · 异常率 · 延迟）可视化监控
数据质量监控看板设计实时指标
20
安全报告性能指标
报告生成速度 · 数据准确率 · 查询响应时间与清洗的关系
安全报告性能指标报告生成速度
21
性能瓶颈分析
I/O瓶颈 · CPU密集型清洗操作 · 内存溢出的诊断与优化
性能瓶颈分析I/O
22
并行与分布式清洗
利用Dask或Spark加速大规模巡…
并行分布式清洗
23
数据存储优化
列式存储（Parquet） · 分区表 · 索引设计对报告查询性能的提升
数据存储优化Parquet
24
缓存策略
清洗结果缓存 · 中间结果复用 · 减少重复计算
缓存策略清洗结果缓存
25
增量清洗与流式处理
仅处理新增或变更数据 · 实现近实时报告更新
增量清洗流式处理
26
清洗规则引擎
基于配置的规则管理 · 支持业务人员动态调整清洗逻辑
清洗规则引擎基于配置的规则管…
27
数据血缘与溯源
记录每条数据从原始到清洗后的完整变换… · 增强报告可信度
数据血缘溯源
28
案例实战（一）
某大型工地安全巡检数据清洗全流程实现…
案例实战某大型工地安全巡…
29
案例实战（二）
清洗前后安全报告性能对比分析（生成时…
案例实战清洗前后安全报告…
30
课程总结与未来展望
AI辅助清洗 · 边缘计算在移动巡检中的趋势
课程总结未来展望