VIP20

本课程属于：024-仿真脚本 自动驾驶 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

仿真脚本数据录制与清洗技巧

📚 共计 30 章节

仿真数据录制基础

什么是仿真数据录制 · 录制工具介绍 (Wireshark, tcpdump) · 录制环境搭建

数据录制策略

录制时长选择 · 过滤规则 · 采样率 · 存储格式 (pcap/csv/json)

数据清洗入门

定义与重要性 · 常见质量问题：缺失值、重复值、异常值

数据清洗工具

Pandas入门 · NumPy基础 · dropna/fillna/drop_duplicates

数据清洗实战

缺失值处理(删除/填充/插值) · 重复值 · 异常值(3σ/IQR)

数据格式转换

时间戳格式化 · 类型转换 · 编码问题处理

数据聚合与分组

groupby操作 · 聚合函数(sum/mean/count) · 多级索引

数据合并与连接

concat/merge/join · 多表关联

数据采样与降采样

随机采样 · 分层采样 · 时间序列降采样 · 重采样

采样降采样

数据可视化辅助清洗

Matplotlib/Seaborn · 箱线图 · 散点图发现异常

可视化异常检测

自动化清洗脚本编写

函数封装 · 异常处理 · 日志 · 定时任务

自动化脚本

大规模数据清洗优化

分块读取 · 并行处理 · 内存优化 · Dask/Modin

优化大数据

数据质量评估

完整性 · 一致性 · 准确性 · 质量报告

仿真数据录制进阶

多接口同步录制 · 分布式 · 云端录制方案

数据清洗最佳实践

流程标准化 · 版本控制 · 结果验证

最佳实践规范

案例：网络流量录制与清洗(一)

需求分析 · 录制方案设计

案例：网络流量录制与清洗(二)

数据采集 · 初步清洗

案例：网络流量录制与清洗(三)

特征提取 · 数据转换

案例：网络流量录制与清洗(四)

质量评估 · 报告生成

案例：传感器数据录制与清洗(一)

多传感器同步录制

传感器同步

案例：传感器数据录制与清洗(二)

时间对齐 · 插值处理

传感器对齐

案例：传感器数据录制与清洗(三)

噪声过滤 · 平滑处理

传感器滤波

案例：传感器数据录制与清洗(四)

数据融合 · 存储

传感器融合

案例：日志数据录制与清洗(一)

日志格式解析 · 结构化

案例：日志数据录制与清洗(二)

异常日志识别 · 过滤

案例：日志数据录制与清洗(三)

用户行为轨迹重构

案例：日志数据录制与清洗(四)

数据脱敏 · 隐私保护

数据清洗工具对比

Pandas vs Spark vs SQL vs ETL工具

数据清洗自动化平台搭建

Airflow工作流 · 任务编排 · 监控告警

课程总结与展望

数据清洗未来趋势 · AI辅助 · 持续学习建议