1. 数据治理概述
各位同学好,我是老张。做数据治理这行十几年了,踩过的坑比走过的路还多。今天咱们聊聊数据治理最基础的东西——定义、目标、挑战,还有它跟数据管理到底有啥区别。
说实话,我刚入行那会儿,数据治理这个概念还挺模糊的。大家嘴上都在说,但真要问「什么是数据治理」,十个人能给你十一个答案。后来做项目做多了,慢慢才摸清楚这里面的门道。
数据治理的定义
数据治理,说白了就是一套管理机制。它管的是数据从产生到销毁的全生命周期,包括谁能用、怎么用、用得好不好。
我个人的理解更直白一些:数据治理就是给数据立规矩。没有规矩,不成方圆。数据也是一样。
官方定义参考:DAMA(国际数据管理协会)把数据治理定义为「对数据资产管理行使权力和控制的活动集合」。嗯,这个定义很严谨,但有点绕。我更喜欢说——数据治理就是确保数据「可用、可信、可控」的一套体系。
我在项目中遇到过一家企业,数据量特别大,但各部门各自为政。销售部叫客户ID,市场部叫客户编号,技术部叫user_id。你说这是不是同一个东西?没人说得清。这就是缺了数据治理的典型症状。
数据治理的目标
数据治理的目标,我总结为四个字:提质增效。具体来说,可以拆成这么几个方面:
- 提升数据质量——让数据准确、完整、一致、及时。这是最基础的目标。
- 保障数据安全——该看的能看,不该看的看不到。权限、加密、脱敏,一个都不能少。
- 促进数据共享——打破数据孤岛,让数据在组织内部流动起来。
- 支撑业务决策——数据治理的终极目标,是让数据真正为业务创造价值。
你想想看,如果数据质量差,领导看报表的时候心里打鼓,这决策怎么做?我曾经见过一个项目,因为数据口径不一致,同一个营收指标,财务部和业务部差了20%。开会的时候两边吵得不可开交,最后发现是统计规则没统一。这就是数据治理没做到位。
数据治理的挑战
做数据治理,难吗?难。我这些年做下来,最大的感受是:技术问题好解决,人的问题最难搞。
常见的挑战有这么几个:
| 挑战类型 | 具体表现 | 我的经验 |
|---|---|---|
| 组织层面 | 缺乏高层支持,各部门推诿 | 我曾经推动一个治理项目,业务部门说「我数据没问题,是你们技术不会用」——这种话我听了不下十次 |
| 技术层面 | 数据源多、格式杂、历史数据脏 | 有个项目光清洗历史数据就花了三个月,脏数据比例高达40% |
| 流程层面 | 治理流程不闭环,做了一次就停了 | 很多企业把数据治理当「一次性项目」,做完就没人管了 |
| 文化层面 | 数据意识薄弱,不重视数据价值 | 「数据不就是IT的事吗?」——这句话我听了太多次了 |
避坑指南:我曾经接手过一个项目,客户上来就说「我们要上数据治理平台」。我问他们目标是什么,答不上来。结果呢?平台上了,没人用,成了摆设。记住:数据治理不是买工具,而是建体系。工具只是手段,不是目的。
数据治理与数据管理的区别
这个问题,我每次培训都会被问到。很多人搞混这两个概念,包括一些从业多年的同行。
我打个比方你就明白了:数据治理是「立法」,数据管理是「执法」。
- 数据治理——定规则、定标准、定流程、定权责。它解决的是「谁来做、怎么做、做到什么程度」的问题。
- 数据管理——按照治理定的规则去执行。包括数据建模、数据存储、数据集成、数据质量监控等具体工作。
用一个表格来对比,会更清楚:
| 维度 | 数据治理 | 数据管理 |
|---|---|---|
| 定位 | 战略层面 | 战术/执行层面 |
| 核心 | 决策、控制、监督 | 规划、实施、运维 |
| 产出 | 制度、标准、流程 | 数据资产、数据服务 |
| 角色 | 数据治理委员会、数据Owner | 数据管理员、数据工程师 |
| 关注点 | 做什么、为什么做 | 怎么做、做得怎么样 |
举个例子。我在一个项目中,先帮客户建立了数据治理委员会,制定了数据标准规范(这是治理)。然后技术团队按照这些标准去搭建数据平台、做数据清洗、建数据仓库(这是管理)。没有治理,管理就是无头苍蝇;没有管理,治理就是纸上谈兵。
我的建议:做数据治理项目,一定要先搞清楚自己处在哪个阶段。如果连基本的数据管理都没做好,别急着搞治理。反过来,如果管理做得很好了但数据还是乱,那问题大概率出在治理层面。
本章知识体系
下面这张图,是我自己梳理的数据治理知识框架。你可以把它当作本章的「地图」,后面每一章都会在这个框架里展开。
这张图把本章的核心内容串起来了。你看,数据治理在最上面,下面是四个目标、三大挑战,再往下是治理与管理的区别。最底下那个「质量评分驱动的治理闭环」,就是我们这门课的核心思路——用质量评分来驱动整个治理流程,让它真正转起来。
好了,第一章就聊到这儿。记住一句话:数据治理不是终点,而是起点。后面的章节,咱们会一步步把这个闭环拆开来看。