数据治理概述与挑战
数据治理这个词,听起来挺高大上的。说白了就是一套管理规矩——谁能用数据、怎么用、用成什么样才算合格。我早年在一家金融公司做数据平台时,老板拍桌子说“数据是资产”,结果底下没人知道这资产到底归谁管、坏了谁修。嗯,那时候我就意识到:数据治理不是技术问题,是管理问题。
数据治理的定义
业界公认的定义来自DAMA(国际数据管理协会):数据治理是对数据资产管理行使权力和控制的活动集合。我个人的理解更直白——它是一套“数据交通规则”:
- 谁可以开这辆车(数据权限)
- 车要加什么油(数据标准)
- 出了事故怎么处理(数据质量整改)
你可能会问:那数据治理和数据管理有啥区别?举个例子:数据治理是制定“行人靠右”的规则,数据管理是每天去路口指挥交通。治理定规矩,管理执行规矩,缺一不可。
重点:数据治理≠数据管理。治理是“方向盘”,管理是“发动机”。没有方向盘的发动机,跑得越快越危险。
核心目标
我个人习惯把数据治理的目标总结为三个关键词,这样好记:
| 目标维度 | 具体含义 | 我见过的问题案例 |
|---|---|---|
| 可用 | 数据找得到、读得懂、能拿到 | 某公司300张表,没人知道哪些是准确的 |
| 可信 | 数据准确、完整、一致 | 同一客户在CRM里叫“张三”,在ERP里叫“张先生” |
| 可控 | 谁改了数据、什么时候改的、合不合规 | 运营同学直接改生产库,导致报表对不上 |
一个小技巧:刚开始做数据治理时,先盯住“可信”维度。我曾在电商项目里发现订单金额字段有3种不同单位(元、分、千元)——不先解决这个,后面的分析全是废纸。
常见痛点
做数据治理这些年,我踩过不少坑。下面三个痛点最典型,几乎每个企业都会遇到。
痛点一:数据孤岛
什么叫数据孤岛?就是每个部门守着自家的数据,谁也不理谁。销售部用CRM,财务部用ERP,市场部用一堆SaaS工具——数据互相不打通,像一个个孤立的岛屿。
我曾经帮一家零售企业做数据治理。他们的客户数据分散在7个系统里:线下POS、线上商城、微信小程序、客服工单……每个系统都有“客户ID”,但互相没关系。结果呢?同一个客户在线上买了东西,线下会员积分却查不到。说白了,系统没打通,数据就不能“说话”。
避坑指南:我曾经以为上个数据中台就能解决孤岛问题。结果发现,中台只是把孤岛数据复制了一份,源头还是各管各的。根本解法是定义统一的数据资产目录和强制数据共享接口。
痛点二:质量不一致
数据质量问题太普遍了。我随便举几个真实案例:
- 字段里填“男”“M”“1”表示性别,同一张表三种格式
- 订单日期有的写“2024-01-01”,有的写“2024/1/1”,还有写“2024年1月1日”
- 手机号字段里有“13812345678”,也有“138-1234-5678”,还有“(86)13812345678”
为什么会这样?因为源头录入没约束,下游又各改各的。我建议:数据质量必须在入口处设置防火墙。你想想,脏数据进了管道,后面洗数据、对账、修数据,成本是入口处的10倍以上。
| 质量维度 | 典型问题 | 我处理过的最好方案 |
|---|---|---|
| 完整性 | 必填字段为空 | 源系统强制非空约束 |
| 一致性 | 同一含义不同值 | 建立代码值对照表(如性别字典) |
| 准确性 | 数值超出合理范围 | 写入时做业务规则校验(如年龄>150自动告警) |
| 及时性 | 数据延迟超过SLA | 设置数据新鲜度监控看板 |
痛点三:标准缺失
没有统一标准,数据就是“方言大杂烩”。我见过最夸张的例子:一家公司内部,同一个“客户等级”字段,CRM系统定义“A/B/C”,营销系统定义“1/2/3/4”,数据仓库自己又定义“金卡/银卡/铜卡”。三个系统三种标准,做客户画像的时候全乱套。
标准缺失带来两个后果:一是集成成本飙升(每次对接都要写映射脚本),二是分析结果不可信(你用A标准统计的客户数,和用B标准统计的差20%)。
核心原则:数据标准要“先僵化、后优化、再固化”。我建议先强制统一一套标准(哪怕不是最优),跑通流程后再迭代。不要试图一次性搞出完美标准——那只会让项目陷入无休止的论证会。
数据治理核心知识体系
下面这张图梳理了数据治理的核心要素。你看,从定义出发,分三个目标维度,再落到三个痛点——这样更清晰。
经验之谈:这张图我每次做数据治理项目前都会拿出来重新看一遍。痛点不解决,目标就是空话。我建议先从“质量不一致”下手——因为这个问题最容易出成果,老板也最认可。
数据治理这事儿,急不得。但也不能拖。我从实践中得到的最大教训是:不要试图一次性解决所有问题。先选一个痛点(比如统一客户数据标准),跑通闭环,再逐步扩大。后面章节我们会具体聊怎么用标签传播算法来辅助解决这些痛点——不过那是后话了,先把基础打牢。