一、数据网格与数据中台概述

大家好,我是老赵。做数据架构十几年了,从传统数仓到大数据平台,再到这两年火得不行的数据中台和数据网格,我算是都踩过坑。今天咱们就来聊聊这两个概念——数据网格和数据中台。

说实话,很多朋友问我:“老赵,这两个到底选哪个?”我的回答通常是:先别急着选,你得先搞清楚它们各自是什么,区别在哪。

1.1 数据中台到底是什么?

数据中台这个概念,最早是阿里提出来的。说白了,它就是一个企业级的数据共享平台。

我个人的理解是:数据中台把各个业务线的数据收集上来,统一清洗、加工、建模,然后对外提供标准化的数据服务。它的核心思想是——“数据资产化,服务化”。

数据中台的核心特征:

  • 集中式架构:所有数据统一存储、统一管理
  • 中心化治理:由专门的数据团队负责数据标准、质量、安全
  • 统一出口:所有数据服务通过中台对外提供
  • 强调复用:避免重复建设,一次加工,多处使用

我在2019年帮一家电商公司搭建数据中台时,就遇到过典型的场景:订单数据、用户数据、商品数据分散在十几个系统里。中台要做的事情,就是把它们拉通,形成统一的用户画像、商品标签。嗯,听起来很美好,对吧?

但实际做起来,你会发现一个核心问题——数据团队成了瓶颈。业务部门提需求,数据团队排期开发,一来一回,少则两周,多则一个月。业务等不起啊。

1.2 数据网格又是什么?

数据网格(Data Mesh)是Zhamak Dehghani在2019年提出的。我第一次看到这个概念时,第一反应是:这不就是把数据中台拆了吗?

后来仔细研究才发现,数据网格不是简单的“拆”,而是换了一种组织方式。

数据网格的核心思想是:数据应该由最了解它的人来负责。谁产生数据,谁就负责把它变成可用的数据产品。

数据网格的四大原则:

  1. 面向领域的数据所有权:每个业务域(如订单、用户、商品)自己管理自己的数据
  2. 数据即产品:每个域把自己的数据包装成“数据产品”,提供清晰的接口和SLA
  3. 自助式数据基础设施:平台团队提供通用的工具和平台,让各域能自主开发
  4. 联邦式数据治理:全局标准由各方共同制定,而不是由中心团队强推

我记得有一次跟一个金融客户聊数据网格,对方CTO问:“这不就是数据中台的微服务化吗?”我说:“有点像,但本质区别在于——数据网格改变了谁负责数据的问题。”

1.3 两者核心区别

咱们直接上表格,一目了然:

对比维度 数据中台 数据网格
架构风格 集中式 分布式
数据所有权 中心数据团队 各业务域团队
治理方式 中心化管控 联邦式协作
数据交付 统一API/服务 领域数据产品
扩展性 受限于中心团队产能 随业务域自然扩展
适用场景 数据规模中等、业务相对稳定 数据规模大、业务域多且独立
典型风险 数据团队成为瓶颈 数据孤岛、标准不统一

你想想看,数据中台就像一个大食堂——所有菜都由中央厨房做好,大家来打饭。数据网格呢,更像美食广场——每个摊位自己做饭,但共用基础设施(水电、桌椅)。

哪种好?没有的好坏,看你的场景。

1.4 为什么需要对比?

这个问题我问过自己很多次。说实话,市面上关于这两个概念的争论太多了,有的说数据中台已死,有的说数据网格是噱头。

我个人觉得,盲目站队没有意义。我们需要对比,是因为:

  • 选型需要:你的团队、业务、技术栈适合哪一种?
  • 避坑需要:我曾经见过一个团队,硬上数据中台,结果业务域太多,中台团队根本忙不过来,最后数据质量一塌糊涂。也见过另一个团队,盲目搞数据网格,结果各域各自为政,连用户ID都对不上。
  • 演进需要:很多企业不是非此即彼,而是从数据中台逐步演进到数据网格,或者两者混合。

避坑提醒:

我曾经帮一家企业做数据架构评审,他们号称“全面拥抱数据网格”,结果每个域都自己建了一套数据管道,连数据格式都不统一。最后数据产品之间根本无法互通。这就是典型的只学了形式,没学到精髓——数据网格不是不要治理,而是换了一种治理方式。

1.5 一张图看懂本章核心

下面这张图,是我自己总结的。它把数据中台和数据网格的核心差异,以及各自的适用场景,画在了一起。你一看就明白:

数据网格与数据中台核心对比图 数据网格 vs 数据中台:核心对比 数据中台 集中式架构 中心数据团队 统一数据采集 & 加工 中心化数据治理 统一数据服务出口 适合:业务稳定、数据规模中等 数据网格 分布式架构 领域团队(订单/用户/商品) 各域自主加工数据产品 联邦式数据治理 领域数据产品接口 适合:业务域多、数据规模大 vs 没有好坏,关键看业务场景和团队能力

我的建议:

如果你所在的企业业务域相对固定,数据量在百TB级别,团队数据能力一般,数据中台可能是更稳妥的选择。如果你业务域多且独立,数据量在PB级以上,各域有自己的数据工程师,那数据网格的灵活性会让你受益。

当然,很多企业最终走的是混合路线——核心公共数据走中台,各域特色数据走网格。这个我们后面章节会详细讲。