数据治理概述与挑战

数据治理这个词,听起来挺高大上的。说白了就是一套管理规矩——谁能用数据、怎么用、用成什么样才算合格。我早年在一家金融公司做数据平台时,老板拍桌子说“数据是资产”,结果底下没人知道这资产到底归谁管、坏了谁修。嗯,那时候我就意识到:数据治理不是技术问题,是管理问题。

数据治理的定义

业界公认的定义来自DAMA(国际数据管理协会):数据治理是对数据资产管理行使权力和控制的活动集合。我个人的理解更直白——它是一套“数据交通规则”:

  • 谁可以开这辆车(数据权限)
  • 车要加什么油(数据标准)
  • 出了事故怎么处理(数据质量整改)

你可能会问:那数据治理和数据管理有啥区别?举个例子:数据治理是制定“行人靠右”的规则,数据管理是每天去路口指挥交通。治理定规矩,管理执行规矩,缺一不可。

重点:数据治理≠数据管理。治理是“方向盘”,管理是“发动机”。没有方向盘的发动机,跑得越快越危险。

核心目标

我个人习惯把数据治理的目标总结为三个关键词,这样好记:

目标维度 具体含义 我见过的问题案例
可用 数据找得到、读得懂、能拿到 某公司300张表,没人知道哪些是准确的
可信 数据准确、完整、一致 同一客户在CRM里叫“张三”,在ERP里叫“张先生”
可控 谁改了数据、什么时候改的、合不合规 运营同学直接改生产库,导致报表对不上

一个小技巧:刚开始做数据治理时,先盯住“可信”维度。我曾在电商项目里发现订单金额字段有3种不同单位(元、分、千元)——不先解决这个,后面的分析全是废纸。

常见痛点

做数据治理这些年,我踩过不少坑。下面三个痛点最典型,几乎每个企业都会遇到。

痛点一:数据孤岛

什么叫数据孤岛?就是每个部门守着自家的数据,谁也不理谁。销售部用CRM,财务部用ERP,市场部用一堆SaaS工具——数据互相不打通,像一个个孤立的岛屿。

我曾经帮一家零售企业做数据治理。他们的客户数据分散在7个系统里:线下POS、线上商城、微信小程序、客服工单……每个系统都有“客户ID”,但互相没关系。结果呢?同一个客户在线上买了东西,线下会员积分却查不到。说白了,系统没打通,数据就不能“说话”。

避坑指南:我曾经以为上个数据中台就能解决孤岛问题。结果发现,中台只是把孤岛数据复制了一份,源头还是各管各的。根本解法是定义统一的数据资产目录和强制数据共享接口。

痛点二:质量不一致

数据质量问题太普遍了。我随便举几个真实案例:

  • 字段里填“男”“M”“1”表示性别,同一张表三种格式
  • 订单日期有的写“2024-01-01”,有的写“2024/1/1”,还有写“2024年1月1日”
  • 手机号字段里有“13812345678”,也有“138-1234-5678”,还有“(86)13812345678”

为什么会这样?因为源头录入没约束,下游又各改各的。我建议:数据质量必须在入口处设置防火墙。你想想,脏数据进了管道,后面洗数据、对账、修数据,成本是入口处的10倍以上。

质量维度 典型问题 我处理过的最好方案
完整性 必填字段为空 源系统强制非空约束
一致性 同一含义不同值 建立代码值对照表(如性别字典)
准确性 数值超出合理范围 写入时做业务规则校验(如年龄>150自动告警)
及时性 数据延迟超过SLA 设置数据新鲜度监控看板

痛点三:标准缺失

没有统一标准,数据就是“方言大杂烩”。我见过最夸张的例子:一家公司内部,同一个“客户等级”字段,CRM系统定义“A/B/C”,营销系统定义“1/2/3/4”,数据仓库自己又定义“金卡/银卡/铜卡”。三个系统三种标准,做客户画像的时候全乱套。

标准缺失带来两个后果:一是集成成本飙升(每次对接都要写映射脚本),二是分析结果不可信(你用A标准统计的客户数,和用B标准统计的差20%)。

核心原则:数据标准要“先僵化、后优化、再固化”。我建议先强制统一一套标准(哪怕不是最优),跑通流程后再迭代。不要试图一次性搞出完美标准——那只会让项目陷入无休止的论证会。

数据治理核心知识体系

下面这张图梳理了数据治理的核心要素。你看,从定义出发,分三个目标维度,再落到三个痛点——这样更清晰。

数据治理知识体系框架图 数据治理 可用 可信 可控 常见痛点 数据孤岛 系统不互通 质量不一致 数据脏乱差 标准缺失 各自为政 核心:定规矩 → 管质量 → 通孤岛 → 建标准 没有治理,数据就是负债

经验之谈:这张图我每次做数据治理项目前都会拿出来重新看一遍。痛点不解决,目标就是空话。我建议先从“质量不一致”下手——因为这个问题最容易出成果,老板也最认可。

数据治理这事儿,急不得。但也不能拖。我从实践中得到的最大教训是:不要试图一次性解决所有问题。先选一个痛点(比如统一客户数据标准),跑通闭环,再逐步扩大。后面章节我们会具体聊怎么用标签传播算法来辅助解决这些痛点——不过那是后话了,先把基础打牢。