4、数据质量评估方法：基于规则、统计与机器学习
数据质量评估，说白了就是给数据“体检”。你光知道数据有问题不行，得能量化、能定位、能复现。我这些年做数据治理，发现很多团队卡在第一步——不知道怎么选评估方法。
其实就三条路：基于规则、基于统计、基于机器学习。它们不是替代关系，而是层层递进。下面我挨个讲清楚。
4.1 基于规则的方法：最直接的“硬约束”
规则方法是最古老、最可靠的手段。你定义好什么是对、什么是错，然后逐条检查。我在项目中见过太多团队一上来就想上机器学习，结果连非空检查都没做——这其实很危险。
4.1.1 常见规则类型
| 规则类别 | 说明 | 示例 |
|---|---|---|
| 非空约束 | 字段不能为 NULL 或空串 | user_id IS NOT NULL |
| 唯一性约束 | 字段值在数据集内唯一 | COUNT(DISTINCT order_id) = COUNT(order_id) |
| 格式校验 | 正则表达式匹配 | phone REGEXP '^1[3-9]\\d{9}$' |
| 值域约束 | 数值/枚举范围 | age BETWEEN 0 AND 150 |
| 引用完整性 | 外键关联存在 | dept_id IN (SELECT id FROM dept) |
我的习惯：规则一定要分层。基础规则（非空、格式）放在第一层，业务规则（比如“订单金额不能为负”）放在第二层。这样排查问题时能快速定位是数据录入问题还是业务逻辑问题。
4.1.2 规则引擎实现示例
下面是一个轻量级的规则评估函数。我习惯用 Python 写原型，生产环境再迁移到 Spark 或 Flink。
def evaluate_rules(df, rules):
"""
df: pandas DataFrame
rules: list of dict, 每个 dict 包含 'name', 'condition', 'severity'
返回: 规则通过率报告
"""
results = []
total = len(df)
for rule in rules:
try:
passed = df.query(rule['condition']).shape[0]
pass_rate = passed / total
results.append({
'rule_name': rule['name'],
'passed': passed,
'total': total,
'pass_rate': round(pass_rate, 4),
'severity': rule.get('severity', 'medium')
})
except Exception as e:
results.append({
'rule_name': rule['name'],
'error': str(e),
'severity': 'critical'
})
return results
# 使用示例
rules = [
{'name': 'user_id非空', 'condition': 'user_id.notna()', 'severity': 'high'},
{'name': '年龄合理', 'condition': 'age.between(0, 150)', 'severity': 'medium'},
]
report = evaluate_rules(df, rules)
我曾经踩过的坑：规则条件写得太死。比如“年龄 0-150”，结果某次上游系统把出生日期误传为年龄，所有记录都通过了。后来我加了一条“年龄与出生日期逻辑一致性”的规则，才堵住这个漏洞。规则不是越多越好，而是要覆盖真实的数据生成逻辑。
4.2 基于统计的方法：用数据说话
规则方法有个硬伤——你只能检查你想到的问题。但数据里的异常往往是“意料之外”的。这时候统计方法就派上用场了。
统计方法的核心思想是：正常数据服从某种分布，偏离分布的就是异常。你想想看，如果某个字段99%的值都在一个区间，突然冒出一个离群点，那大概率有问题。
4.2.1 常用统计指标
- 描述性统计：均值、中位数、标准差、四分位数。用于快速了解数据分布。
- 偏度与峰度：判断分布是否对称、是否“尖峰厚尾”。偏度值大于2通常意味着数据异常。
- Z-Score 异常检测：
|Z| > 3视为异常点。适合近似正态分布的数据。 - IQR 法则：
Q1 - 1.5*IQR和Q3 + 1.5*IQR之外为异常。对偏态分布更鲁棒。
4.2.2 实战：用 IQR 检测异常值
def iqr_outlier_detection(series):
Q1 = series.quantile(0.25)
Q3 = series.quantile(0.75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR
outliers = series[(series < lower_bound) | (series > upper_bound)]
return {
'Q1': Q1,
'Q3': Q3,
'IQR': IQR,
'lower_bound': lower_bound,
'upper_bound': upper_bound,
'outlier_count': len(outliers),
'outlier_ratio': round(len(outliers) / len(series), 4)
}
# 调用
result = iqr_outlier_detection(df['amount'])
print(f"异常比例: {result['outlier_ratio']}")
关键认知：统计方法不是万能的。它假设数据服从某种分布，但真实数据往往混合了多种分布。我建议先用统计方法做“粗筛”，标记出可疑记录，再交给人工或规则做二次确认。
4.3 基于机器学习的方法：让模型自己学
当数据维度高、关系复杂时，规则和统计都显得力不从心。比如你有一张用户行为表，几百个特征，怎么定义“正常”？这时候就该机器学习上场了。
机器学习方法的核心是无监督学习——不需要标注数据，让模型自己学习“什么是正常的”，然后找出偏离正常模式的样本。
4.3.1 常用算法对比
| 算法 | 适用场景 | 优点 | 缺点 |
|---|---|---|---|
| 孤立森林 | 高维连续数据 | 线性时间复杂度，适合大数据 | 对局部异常不敏感 |
| LOF（局部异常因子） | 密度不均匀的数据 | 能检测局部异常 | 计算复杂度高 |
| One-Class SVM | 边界清晰的场景 | 理论成熟，小样本效果好 | 对参数敏感 |
| 自编码器 | 高维、非线性关系 | 能学习复杂模式 | 需要调参，解释性差 |
4.3.2 孤立森林实战代码
from sklearn.ensemble import IsolationForest
def ml_quality_check(df, feature_cols, contamination=0.05):
"""
使用孤立森林检测异常记录
"""
model = IsolationForest(
contamination=contamination,
random_state=42,
n_estimators=100
)
# 训练并预测
df['anomaly_score'] = model.fit_predict(df[feature_cols])
df['anomaly'] = df['anomaly_score'].map({1: 'normal', -1: 'anomaly'})
anomaly_count = (df['anomaly'] == 'anomaly').sum()
return {
'total': len(df),
'anomaly_count': anomaly_count,
'anomaly_ratio': round(anomaly_count / len(df), 4),
'anomaly_data': df[df['anomaly'] == 'anomaly'].head(10)
}
# 使用示例
features = ['amount', 'frequency', 'duration']
result = ml_quality_check(df, features)
print(f"检测到 {result['anomaly_count']} 条异常记录")
我的建议：机器学习方法一定要配合可解释性分析。比如用 SHAP 值解释为什么某条记录被判定为异常。否则业务方不会信任你的结果。我在一个金融项目中就吃过这个亏——模型准确率95%，但业务说“我不信黑盒”，最后不得不加了一层规则解释层。
4.4 三种方法的选型策略
别纠结“哪个最好”。实际项目中，我通常这样组合：
- 先用规则方法：覆盖已知的、确定性的质量问题。这部分能解决60-70%的问题。
- 再用统计方法：发现规则没覆盖到的分布异常。比如某个字段突然整体偏移。
- 最后用机器学习：处理高维、复杂、未知的异常模式。这部分是“兜底”手段。
避坑指南：我曾经在一个项目中，直接上机器学习做全量数据质量评估，结果模型把大量正常数据标记为异常。后来发现是因为数据本身存在周期性波动（比如周末交易量低），模型把“正常波动”当成了异常。解决方案很简单——先做规则过滤，再对过滤后的数据做统计和ML分析。
嗯，三种方法讲完了。记住一个原则：规则是骨架，统计是肌肉，机器学习是神经系统。三者配合，才能构建一个健壮的数据质量评估体系。