VIP20
本课程属于：022-数据质量平台 数据工程与实时数据平台 · 共 20 门相关课程，组合学习更完整。
查看所属VIP全部课程 →
← 返回所属目录 咨询 / 购买

数据质量评分模型设计方法

📚 共计 30 章节
点击此处阅读海量试读课程：100+行业、1000+细分领域
01
数据质量评分模型概述
数据质量的定义 · 评分重要性 · 应用场景全景
概述基础
02
数据质量维度体系
完整性、准确性、一致性、及时性、唯一性、有效性
维度度量
03
评分模型设计原则
SMART · 可量化 · 业务对齐 · 动态调整
原则框架
04
评分指标体系构建
指标分类 · 权重设计 · 阈值设定 · 归一化方法
指标体系
05
评分算法设计
加权平均 · AHP · 熵权法 · 模糊综合评价
算法核心
06
数据采集与预处理
数据源识别 · 采样策略 · 清洗规则 · 标准化
预处理ETL
07
完整性评分方法
空值检测 · 缺失率计算 · 字段级完整性评估
完整性评分
08
准确性评分方法
校验规则 · 业务验证 · 交叉验证 · 准确性公式
准确性校验
09
一致性评分方法
跨系统比对 · 格式一致性 · 逻辑一致性检查
一致性比对
10
及时性评分方法
时效性定义 · 延迟计算 · 更新频率评估
及时性时效
11
唯一性评分方法
重复检测 · 主键唯一性 · 去重策略
唯一性去重
12
有效性评分方法
格式校验 · 取值范围 · 业务规则有效性
有效性规则
13
权重确定方法
专家打分 · AHP详解 · 熵权法 · 组合赋权
权重AHP
14
评分模型实现
Python引擎 · 函数封装 · 批量评分 · 结果存储
实现Python
15
评分结果可视化
雷达图 · 趋势折线图 · 热力图 · 仪表盘
可视化图表
16
评分阈值与等级划分
优秀/良好/合格/不合格 · 动态调整 · 映射规则
阈值等级
17
模型验证与优化
交叉验证 · A/B测试 · 迭代策略 · 反馈闭环
验证优化
18
行业案例
金融 · 电商 · 医疗行业评分实践
案例行业
19
自动化评分流水线
Airflow调度 · 定时任务 · 异常告警 · 报告自动生成
自动化流水线
20
数据质量监控看板
实时监控 · 历史趋势 · 异常预警 · 钻取分析
看板监控
21
评分模型治理
版本管理 · 文档规范 · 评审流程 · 退役策略
治理管理
22
多源数据融合评分
异构整合 · 数据血缘 · 融合策略 · 冲突解决
多源融合
23
实时数据质量评分
流式处理 · 实时算法 · 滑动窗口 · 实时告警
实时流式
24
数据质量评分与数据治理
驱动治理 · 根因分析 · 优先级排序 · 效果评估
治理闭环
25
评分模型的可解释性
SHAP分析 · 特征重要性 · 决策路径 · 业务报告
可解释性SHAP
26
大规模数据评分优化
分布式架构 · Spark引擎 · 性能调优 · 资源估算
大规模Spark
27
评分模型安全与合规
数据脱敏 · 隐私保护 · 审计日志 · 合规检查
安全合规
28
数据质量评分成熟度模型
初始级 → 优化级 · 量化管理 · 持续改进
成熟度模型
29
评分模型文档与培训
设计文档 · 操作手册 · 培训材料 · 知识库
文档培训
30
未来趋势与展望
AI智能评分 · 自动修复 · DQaaS · 数据网格
趋势前沿