一、数据网格与数据中台概述
大家好,我是老赵。做数据架构十几年了,从传统数仓到大数据平台,再到这两年火得不行的数据中台和数据网格,我算是都踩过坑。今天咱们就来聊聊这两个概念——数据网格和数据中台。
说实话,很多朋友问我:“老赵,这两个到底选哪个?”我的回答通常是:先别急着选,你得先搞清楚它们各自是什么,区别在哪。
1.1 数据中台到底是什么?
数据中台这个概念,最早是阿里提出来的。说白了,它就是一个企业级的数据共享平台。
我个人的理解是:数据中台把各个业务线的数据收集上来,统一清洗、加工、建模,然后对外提供标准化的数据服务。它的核心思想是——“数据资产化,服务化”。
数据中台的核心特征:
- 集中式架构:所有数据统一存储、统一管理
- 中心化治理:由专门的数据团队负责数据标准、质量、安全
- 统一出口:所有数据服务通过中台对外提供
- 强调复用:避免重复建设,一次加工,多处使用
我在2019年帮一家电商公司搭建数据中台时,就遇到过典型的场景:订单数据、用户数据、商品数据分散在十几个系统里。中台要做的事情,就是把它们拉通,形成统一的用户画像、商品标签。嗯,听起来很美好,对吧?
但实际做起来,你会发现一个核心问题——数据团队成了瓶颈。业务部门提需求,数据团队排期开发,一来一回,少则两周,多则一个月。业务等不起啊。
1.2 数据网格又是什么?
数据网格(Data Mesh)是Zhamak Dehghani在2019年提出的。我第一次看到这个概念时,第一反应是:这不就是把数据中台拆了吗?
后来仔细研究才发现,数据网格不是简单的“拆”,而是换了一种组织方式。
数据网格的核心思想是:数据应该由最了解它的人来负责。谁产生数据,谁就负责把它变成可用的数据产品。
数据网格的四大原则:
- 面向领域的数据所有权:每个业务域(如订单、用户、商品)自己管理自己的数据
- 数据即产品:每个域把自己的数据包装成“数据产品”,提供清晰的接口和SLA
- 自助式数据基础设施:平台团队提供通用的工具和平台,让各域能自主开发
- 联邦式数据治理:全局标准由各方共同制定,而不是由中心团队强推
我记得有一次跟一个金融客户聊数据网格,对方CTO问:“这不就是数据中台的微服务化吗?”我说:“有点像,但本质区别在于——数据网格改变了谁负责数据的问题。”
1.3 两者核心区别
咱们直接上表格,一目了然:
| 对比维度 | 数据中台 | 数据网格 |
|---|---|---|
| 架构风格 | 集中式 | 分布式 |
| 数据所有权 | 中心数据团队 | 各业务域团队 |
| 治理方式 | 中心化管控 | 联邦式协作 |
| 数据交付 | 统一API/服务 | 领域数据产品 |
| 扩展性 | 受限于中心团队产能 | 随业务域自然扩展 |
| 适用场景 | 数据规模中等、业务相对稳定 | 数据规模大、业务域多且独立 |
| 典型风险 | 数据团队成为瓶颈 | 数据孤岛、标准不统一 |
你想想看,数据中台就像一个大食堂——所有菜都由中央厨房做好,大家来打饭。数据网格呢,更像美食广场——每个摊位自己做饭,但共用基础设施(水电、桌椅)。
哪种好?没有的好坏,看你的场景。
1.4 为什么需要对比?
这个问题我问过自己很多次。说实话,市面上关于这两个概念的争论太多了,有的说数据中台已死,有的说数据网格是噱头。
我个人觉得,盲目站队没有意义。我们需要对比,是因为:
- 选型需要:你的团队、业务、技术栈适合哪一种?
- 避坑需要:我曾经见过一个团队,硬上数据中台,结果业务域太多,中台团队根本忙不过来,最后数据质量一塌糊涂。也见过另一个团队,盲目搞数据网格,结果各域各自为政,连用户ID都对不上。
- 演进需要:很多企业不是非此即彼,而是从数据中台逐步演进到数据网格,或者两者混合。
避坑提醒:
我曾经帮一家企业做数据架构评审,他们号称“全面拥抱数据网格”,结果每个域都自己建了一套数据管道,连数据格式都不统一。最后数据产品之间根本无法互通。这就是典型的只学了形式,没学到精髓——数据网格不是不要治理,而是换了一种治理方式。
1.5 一张图看懂本章核心
下面这张图,是我自己总结的。它把数据中台和数据网格的核心差异,以及各自的适用场景,画在了一起。你一看就明白:
我的建议:
如果你所在的企业业务域相对固定,数据量在百TB级别,团队数据能力一般,数据中台可能是更稳妥的选择。如果你业务域多且独立,数据量在PB级以上,各域有自己的数据工程师,那数据网格的灵活性会让你受益。
当然,很多企业最终走的是混合路线——核心公共数据走中台,各域特色数据走网格。这个我们后面章节会详细讲。