VIP20
本课程属于：005-科学数据分析与计算可视化 数学计算科学计算与计算物理工程 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

科学数据缺失异常与离群值处理

共计 30 章节
可可资料掘金营 · 点击在线试看
01
科学数据质量问题的整体认知
缺失 · 异常与离群值的定义边界 · 产生根源及其对科学结论的影响
科学数据质量问题…缺失
02
科学数据采集与预处理中的质量诊断
从实验记录 · 传感器日志 · 调查问卷等真实来源识别缺失模式与异常…
科学数据采集预处理
03
缺失机制的理论判别
完全随机缺失 · 随机缺失与非随机缺失的统计含义 · 判别思路及在科学数据中的典型表现
缺失机制的理论判…完全随机缺失
04
缺失模式的可视化与量化诊断
利用缺失矩阵图 · 缺失比例统计 · 变量间缺失相关性分析
缺失模式的可视化量化诊断
05
完全案例分析法的适用条件与陷阱
在科学数据中评估删除缺失样本的偏差风… · 通过模拟对比展示其何时可用 · 何时失效
完全案例分析法的…陷阱
06
单变量缺失填补方法
均值 · 中位数 · 众数及基于分布的分位数填补在科学数据…
单变量缺失填补方…均值
07
回归填补与匹配填补
利用辅助变量建立预测模型进行缺失值估… · 结合科学数据案例讨论模型选择 · 过拟合与残差诊断
回归填补匹配填补
08
多重填补的原理与实操
链式方程多重填补的步骤 · 插补模型设定 · 收敛诊断及合并规则
多重填补的原理实操
09
基于机器学习的缺失值填补
K近邻 · 随机森林 · 梯度提升等方法的适用条件
基于机器学习的缺…K近邻
10
时间序列科学数据的缺失处理
针对传感器 · 观测序列的插值 · 样条
时间序列科学数据…针对传感器
11
空间与时空科学数据的缺失填补
利用地统计克里金 · 反距离加权及时空邻域信息处理网格与站… · 完成空间填补案例
空间时空科学数据的缺…
12
缺失值处理中的不确定性传播
从单次填补到多重填补 · 量化缺失处理对参数估计 · 假设检验与预测区间的影响
缺失值处理不确定性传播
13
缺失值处理方案的选择与验证
设计交叉验证 · 模拟实验与敏感性分析 · 比较不同缺失处理策略在科学任务中的表…
缺失值处理方案的…验证
14
异常值与离群值的概念辨析
区分测量异常 · 数据录入错误 · 自然离群与模型离群
异常值离群值的概念辨析
15
基于统计分布的离群值检测
Z分数 · 修正Z分数 · Grubbs检验
基于统计分布的离…Z分数
16
基于距离与密度的离群检测
马氏距离 · 局部离群因子 · 孤立森林等方法在科学数据中的参数选择…
基于距离密度的离群检测
17
基于分类与回归残差的异常识别
利用监督学习与稳健回归残差发现异常点 · 结合科学数据案例讨论标签稀缺下的策略
基于分类回归残差的异常识…
18
时间序列科学数据中的异常检测
滑动窗口统计 · 指数平滑残差 · 变点检测与季节分解异常识别
时间序列科学数据异常检测
19
空间科学数据中的异常区域识别
空间自相关 · 局部异常指标与扫描统计在遥感 · 地理观测数据中的应用与结果验证
空间科学数据异常区域识别
20
高维与多变量科学数据的异常检测
主成分分析重构误差 · 稳健协方差估计与子空间方法 · 处理变量相关结构下的离群识别
高维多变量科学数据的…
21
异常与离群值的稳健统计处理
稳健均值 · 稳健回归 · M估计与截尾处理
异常离群值的稳健统计…
22
异常值的修正、替换与剔除策略
基于模型预测的修正 · 缩尾处理 · 标记保留与删除的决策流程
异常值的修正替换
23
缺失与异常的联合处理
当缺失与异常同时存在时的诊断顺序 · 迭代填补与检测 · 联合建模思路及避免误差放大的实践要点
缺失异常的联合处理
24
科学数据中的重复值、矛盾值与逻辑异常
识别重复记录 · 变量间逻辑冲突与量纲异常 · 建立规则库与清洗流程
科学数据重复值
25
领域知识驱动的异常判定
结合物理边界 · 仪器量程 · 实验设计约束与专家规则
领域知识驱动的异…结合物理边界
26
缺失与异常处理的可复现流程
使用脚本化 · 版本控制与参数记录构建可审计的数据清… · 输出处理日志与质量报告
缺失异常处理的可复现…
27
处理效果评估与质量指标
定义缺失填补误差 · 异常检测精确率召回率 · 分布一致性等指标
处理效果评估质量指标
28
真实科学数据综合实战一
从观测数据到分析就绪数据集 · 完成缺失诊断 · 填补
真实科学数据综合…从观测数据到分析…
29
真实科学数据综合实战二
针对多源异构科学数据设计联合清洗方案 · 处理缺失与异常交织问题 · 进行敏感性分析与结果汇报
真实科学数据综合…针对多源异构科学…
30
课程总结与前沿展望
回顾核心方法链 · 讨论自动化机器学习 · 深度学习填补与异常检测
课程总结前沿展望