1. 数据评估体系概述

1.1 数据评估的定义

数据评估，说白了就是给数据「做体检」。

我经常跟团队讲一个比喻：你盖一栋大楼，钢筋水泥进场时要不要质检？肯定要。数据也一样，它是数字世界的原材料。数据评估就是一套系统化的质检流程，用来判断数据能不能用、好不好用、值不值得用。

具体来说，数据评估包含三个层面：

• 质量层面——数据准不准、全不全、有没有脏数据
• 价值层面——数据能产生多少业务收益，投入产出比划不划算
• 风险层面——数据有没有合规隐患，会不会泄露隐私

嗯，这里要注意。很多人把数据评估等同于数据质量检查，这是不对的。质量只是其中一块。我在项目中遇到过，某电商平台的数据质量评分高达 98 分，但业务部门根本不买账。为什么？因为数据虽然准，但跟业务决策场景对不上。所以评估必须覆盖「质量 + 价值 + 风险」三个维度。

1.2 数据评估的价值

你想想看，没有评估的数据体系，就像没有仪表盘的飞机。飞得再高，你也不知道油还剩多少、方向偏没偏。

我个人习惯把数据评估的价值归纳为四个「看得见」：

价值维度	具体表现	我见过的真实案例
看得见问题	快速定位数据异常、缺失、重复、不一致	某银行核心报表延迟 3 小时，评估后发现是上游接口超时未告警
看得见成本	量化数据存储、计算、维护的真实开销	某公司 60% 的 HDFS 空间存的是 90 天未访问的冷数据
看得见收益	评估数据对业务决策、模型效果的贡献	推荐系统接入用户画像评估后，CTR 提升了 12%
看得见风险	识别合规、安全、隐私方面的隐患	某 SaaS 平台未做 PII 评估，被罚了 200 万欧元

我曾经接手过一个数据平台，每天跑 3000 多个任务，但没人说得清哪些是核心链路、哪些是废弃任务。后来我们做了一轮全量评估，发现 40% 的表已经没人用了，但还在每天凌晨 3 点准时跑批。说白了，没有评估，你连「该砍掉什么」都不知道。

1.3 数据评估体系的核心要素

一个完整的数据评估体系，在我看来，必须包含四个核心要素。少了任何一个，这个体系都是跛脚的。

要素一：评估指标

指标是评估的「尺子」。没有尺子，你怎么量？

我习惯把指标分成三类：

• 质量指标：完整性、准确性、一致性、时效性、唯一性
• 价值指标：数据使用频率、覆盖业务场景数、ROI
• 风险指标：敏感数据占比、合规通过率、访问权限合规度

举个例子，完整性指标怎么定？不能拍脑袋说「要 100% 完整」。我在项目中遇到过，用户手机号字段的完整率只有 85%，但业务方说够了，因为剩下的 15% 是匿名用户，不需要手机号。所以指标必须跟业务场景对齐。

要素二：评估流程

流程是评估的「跑道」。没有流程，评估就是打乱仗。

我常用的五步流程：

1. 定范围——评估哪些数据？哪个业务域？哪个时间段？
2. 定标准——用什么指标？阈值是多少？谁说了算？
3. 采数据——跑脚本、拉日志、查元数据
4. 做分析——算分、打标签、找根因
5. 出报告——结论、建议、改进计划

嗯，这里有个坑。很多人第三步「采数据」就卡住了。为什么？因为元数据不全、血缘关系混乱。我曾经在一个项目里，光梳理数据血缘就花了两周。所以评估流程的前置条件是：先把元数据治理好。

要素三：评估工具

工具是评估的「手脚」。纯手工评估，数据量一上来就废了。

我推荐的工具栈：

评估类型	推荐工具	适用场景
质量评估	Great Expectations、Deequ	离线/实时数据质量校验
价值评估	自建埋点 + 元数据平台	数据热度、使用频率分析
风险评估	Apache Atlas、Collibra	敏感数据分类、合规审计

要素四：评估组织

组织是评估的「大脑」。没人推动，再好的体系也是摆设。

我建议至少要有三个角色：

• 数据治理委员会——定方向、批标准、协调资源
• 数据评估工程师——落地执行、写脚本、出报告
• 业务评估代表——提需求、验结果、用结论

说白了，数据评估不是技术团队的自嗨。业务方不参与，评估报告就是废纸。

1.4 数据评估体系全景图

下面这张图，是我自己画的数据评估体系全景。它把上面讲的四个要素串在了一起。你一看就明白。

这张图我用了很多次。每次给客户讲，我都会指着中间说：四个要素，缺一个，体系就转不起来。指标不准，评估就是瞎评；流程不顺，评估就是走过场；工具不趁手，评估就是体力活；组织不给力，评估就是自嗨。

好了，第一章就讲这些。记住，数据评估不是技术活，是「技术 + 业务 + 管理」的复合活。后面我们会一步步拆解每个要素怎么落地。