VIP20

本课程属于：041-NGS变异流程特征学习任务 生物信息学与 AI 制药工程 · 共 20 门相关课程，组合学习更完整。

查看所属VIP全部课程 →

← 返回所属目录咨询 / 购买

数据质控指标选择实战课程

共计 30 章节

点击此处阅读海量试读课程：100+行业、1000+细分领域

数据质控概述

数据质量的定义 · 重要性 · 质控指标的用途

数据质控概述数据质量的定义

数据质量维度详解

完整性 · 准确性 · 一致性

数据质量维度详解完整性

完整性指标

记录缺失率 · 字段空值率 · 主键唯一性比例的计算与选择

完整性指标记录缺失率

准确性指标

数据格式正确率 · 值域校验通过率 · 精度误差容忍度

准确性指标数据格式正确率

一致性指标

跨表关联一致率 · 同义字段映射匹配率 · 时间戳对齐偏差

一致性指标跨表关联一致率

及时性指标

数据延迟时长 · 批次到达时间偏差 · 实时数据新鲜度

时性指标数据延迟时长

唯一性指标

重复记录率 · 主键冲突率 · 业务主键唯一性验证

唯一性指标重复记录率

有效性指标

数据类型合规率 · 枚举值合法率 · 业务规则命中率

有效性指标数据类型合规率

业务规则与质控指标映射

如何将业务需求转化为可量化的质控指标

业务规则质控指标映射

指标选择原则

SMART原则 · 覆盖度与成本平衡 · 关键指标精简法

指标选择原则SMART

指标阈值设定方法

经验阈值 · 统计分位数 · 历史基线动态调整

指标阈值设定方法经验阈值

指标权重分配

层次分析法 · 熵权法 · 专家评分与业务优先级

指标权重分配层次分析法

数据探查与指标预计算

使用Python进行数据概览 · 缺失值统计 · 分布分析

数据探查指标预计算

利用pandas计算完整性指标——缺…

利用great_expectatio…

跨表一致性自动比对——利用panda…

时效性指标监控——模拟实时流数据计算…

Python时效性指标监控

重复数据检测——基于hash或记录相…

数据质量仪表盘——利用Dash构建实…

质控指标量化评估

混淆矩阵 · 准确率 · 召回率

质控指标量化评估混淆矩阵

指标相关性分析

避免冗余指标 · 利用相关系数矩阵筛选关键指标

指标相关性分析避免冗余指标

基于业务场景的指标选择——电商场景

订单数据完整性 · 支付准确性

基于业务场景的指…电商场景

基于业务场景的指标选择——金融场景

交易一致性 · 客户信息有效性

基于业务场景的指…金融场景

基于业务场景的指标选择——医疗场景

患者数据唯一性 · 时间戳及时性

基于业务场景的指…医疗场景

指标选择决策树

构建分步决策流程 · 快速确定质控指标体系

指标选择决策树构建分步决策流程

质控指标库建设

指标体系模板化 · 元数据管理 · 版本控制

质控指标库建设指标体系模板化

自动化质控流水线

Airflow调度 · Great Expectations… · 异常告警配置

自动化质控流水线Airflow

数据质量报告生成

自动生成HTML/PDF报告 · 包含指标趋势图与问题列表

数据质量报告生成HTML/PDF

质控指标迭代优化

基于历史问题反馈调整阈值 · 增删指标

质控指标迭代优化基于历史问题反馈…

课程总结与最佳实践

回顾关键知识点 · 常见陷阱与业界经验分享

课程总结最佳实践