VIP20
本课程属于：008-采购支出分析 供应链数字化与智能采购系统 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

采购支出数据仓库ETL中的价格方差数据清洗与对齐

共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
课程导论
采购支出数据仓库概述 · 价格方差问题的业务影响 · ETL中数据清洗与对齐的重要性
课程导论采购支出数据仓库…
02
数据源分析
常见采购数据源（ERP · SRM · 供应商门户）
数据源分析ERP
03
价格方差定义
什么是价格方差 · 价格方差的计算公式 · 方差与标准差在采购场景下的区别
价格方差定义什么是价格方差
04
数据质量维度
完整性 · 准确性 · 一致性
数据质量维度完整性
05
脏数据识别
缺失值 · 异常值（离群点） · 重复记录
脏数据识别缺失值
06
数据剖析（Profiling）
使用Pandas Profiling…
Profiling数据剖析
07
清洗策略设计
基于业务规则的清洗（如价格不能为负） · 基于统计的清洗（3σ原则 · IQR）
清洗策略设计基于业务规则的清…
08
缺失值处理
均值/中位数填充 · 前向/后向填充 · 基于供应商历史均价填充
缺失值处理均值
09
异常值检测
Z-score方法 · Modified Z-score · 箱线图法
异常值检测Z-score
10
单位与货币对齐
货币代码标准化（ISO 4217） · 单位换算（kg/lb · 个/箱）
单位货币对齐
11
日期与时间对齐
采购订单日期格式统一 · 财年/自然年对齐 · 时区处理
日期时间对齐
12
供应商名称对齐
模糊匹配（Levenshtein距离 · Jaro-Winkler） · 同义词映射表
供应商名称对齐Levenshtein
13
物料编码对齐
内部物料号与供应商物料号映射 · 层级分类（品类 · SKU）
物料编码对齐内部物料号
14
合同价格参照
从合同表中提取基准价格 · 合同有效期对齐 · 价格锁定机制
合同价格参照从合同表
15
市场指数对齐
引入大宗商品指数（如CRB） · 汇率指数 · 通胀调整因子
市场指数对齐CRB
16
数据对齐框架
左对齐（以采购订单为准） · 右对齐（以合同为准） · 全外连接对齐策略
数据对齐框架左对齐
17
ETL管道设计
分层架构（Staging -> Cl… · 增量加载策略
ETL管道设计
18
Spark/PySpark实现
使用DataFrame进行分布式清洗 · UDF函数处理价格异常 · 窗口函数计算滚动方差
Spark/PySpar…实现
19
SQL实现
使用SQL窗口函数（LAG/LEAD… · CASE WHEN处理异常标记
SQL实现
20
Python Pandas实现
链式操作清洗管道 · apply/lambda处理复杂规则 · merge/asof对齐时间序列
PythonPandas
21
数据验证规则引擎
定义YAML/JSON规则文件 · 自动化规则执行 · 失败记录告警
数据验证规则引擎YAML/JSON
22
价格方差计算
实际价格 vs 基准价格方差 · 滚动窗口方差（7天/30天） · 同比/环比方差
价格方差计算vs
23
可视化分析
使用Matplotlib/Plotl… · 时间序列方差热力图 · 异常点散点图
可视化分析Matplotlib/P…
24
数据血缘与元数据
记录清洗前后数据变化 · 字段级血缘追踪 · 影响分析
数据血缘元数据
25
性能优化
分区策略（按日期/供应商） · 列式存储（Parquet） · 缓存中间结果
性能优化分区策略
26
测试与回滚
单元测试清洗函数 · 集成测试对齐逻辑 · 快照回滚机制
测试回滚
27
监控与告警
设置价格方差阈值告警 · 数据质量仪表盘 · SLA监控（数据新鲜度
监控告警
28
案例实战一
跨国采购价格方差清洗——多币种 · 多单位 · 多时区对齐
案例实战一跨国采购价格方差…
29
案例实战二
供应商合并后的历史价格对齐——主数据… · 历史数据重算
案例实战二供应商合并后的历…
30
课程总结
最佳实践总结 · 常见陷阱 · 未来趋势（AI辅助清洗
课程总结最佳实践总结