1. 数据网格概述:从单体数据仓库到数据网格的演进,为什么需要Owner角色
1.1 我们是怎么走到这一步的?
先聊聊我自己的经历。十年前我刚带数据团队时,公司只有一个数据仓库。所有ETL、报表、指标定义,全压在一个小组身上。那时候大家管它叫“中央集权制”。
听起来挺合理的对吧?所有数据统一管理,口径一致,多省心。
但实际跑起来,你会发现一个问题:业务部门永远在抱怨数据出得慢。市场部要一个新用户标签,排期三周;运营部想调整一个转化率口径,得等两周评审。我那时候每天的工作就是当“数据居委会主任”——协调优先级、安抚业务情绪、催开发进度。
为什么会这样?
说白了,单体数据仓库的瓶颈不在技术,而在组织。一个中央团队要理解所有业务域的数据,还要保证质量、性能、安全。当业务扩张到几十个域时,这个模式必然崩塌。
核心矛盾:数据消费端(业务)的增长速度,远快于数据生产端(中央团队)的交付速度。
1.2 从单体到分布式:数据网格的诞生
2019年,Zhamak Dehghani提出了数据网格(Data Mesh)。它不是什么新工具,而是一套组织架构原则。我理解它,就是四个字:分而治之。
数据网格的四大原则:
| 原则 | 核心思想 | 传统模式 vs 网格模式 |
|---|---|---|
| 域所有权 | 数据归业务域自己管 | 中央团队管 → 业务团队管 |
| 数据即产品 | 把数据当产品一样设计、交付、运维 | 被动接需求 → 主动交付产品 |
| 自助式数据平台 | 提供基础设施,降低域团队门槛 | 申请资源 → 一键部署 |
| 联邦治理 | 全局标准 + 域内自治 | 一刀切规则 → 分层治理 |
你看,这四条原则里,第一条就是“域所有权”。它直接回答了“谁该为数据负责”这个问题。
1.3 为什么需要Owner角色?
我刚开始推行数据网格时,团队里有人问:“数据归业务域管,那谁来做ETL?谁写文档?谁修bug?”
问得好。这就是Owner角色要解决的问题。
在数据网格里,每个数据域必须有一个明确的Owner。这个人不是挂名的,而是真正对数据产品的全生命周期负责。
Owner要干的事,我列了个清单:
- 定义数据产品:哪些数据要开放?什么格式?什么SLA?
- 保证数据质量:完整性、准确性、时效性,缺一不可
- 维护元数据:数据字典、血缘关系、变更日志
- 响应消费者:答疑、排障、版本升级
- 遵守治理规则:安全合规、隐私保护、命名规范
我的经验:Owner最好由业务域内的技术骨干担任,而不是纯业务人员。我在项目中见过让产品经理当Owner的,结果技术细节没人懂,数据管道出了问题要等三天才有人修。Owner必须能看懂代码、能调管道、能写文档。
1.4 没有Owner会怎样?
我踩过这个坑。曾经有个域的数据质量一直很差,指标对不上,报表经常挂。查来查去,发现这个域没有明确的Owner。数据管道是实习生搭的,他离职后没人接手。业务方以为中央团队在管,中央团队以为业务方在管。
结果就是:数据变成了“孤儿”。
避坑指南:我曾经在一个项目中,因为Owner角色定义模糊,导致三个团队互相推诿数据质量问题。最后花了两个月才理清责任边界。所以我的建议是:在数据网格启动的第一天,就把Owner写进组织架构图里。
1.5 数据网格的核心逻辑图
下面这张图,是我自己总结的数据网格核心逻辑。它展示了从数据域到数据产品再到数据消费者的完整链路,以及Owner在其中的位置。
1.6 小结:Owner不是头衔,是责任
数据网格的演进,本质上是从“中央集权”走向“联邦自治”。而Owner角色,就是这个联邦里每个州的“州长”。
没有Owner,数据网格就是一盘散沙。有了Owner,每个数据域才能像一个小型创业公司一样,快速响应、持续交付、自我进化。
嗯,这一章先聊到这。记住一句话:数据网格的成功,90%取决于Owner的到位程度。剩下的10%,才是技术和工具的事。