2. 需求调研与范围界定
数据集市建设的第一步,也是最容易翻车的一步,就是需求调研。我见过太多项目,技术团队闷头干了三个月,交付时业务部门一句“这不是我要的”,直接推翻重来。说白了,需求调研不是走流程,而是帮业务部门把他们脑子里的“模糊想法”翻译成“可落地的数据逻辑”。
核心原则:需求调研的产出不是一份文档,而是业务方与技术方对“做什么、怎么做、做到什么程度”的共识。这个共识越早对齐,后期返工越少。
2.1 业务部门访谈:别问“你想要什么”
我第一次做访谈时,上来就问业务负责人:“您想要什么报表?”结果对方给我列了二十多个Excel模板,每个模板里还有几十个字段。后来我才明白,这种问法只会让业务方把现有手工报表全部甩给你,你根本分不清哪些是核心需求,哪些是历史遗留的“垃圾需求”。
我现在的习惯是,把访谈分成三轮:
- 第一轮:背景摸底——了解业务部门的KPI是什么、他们日常怎么用数据做决策、当前最大的痛点在哪。
- 第二轮:场景深挖——针对具体业务场景,问“如果有一个数据看板,你希望第一眼看到什么?”而不是“你想要哪些字段”。
- 第三轮:优先级确认——把梳理出的指标列表拿给业务方,让他们按“必须要有、最好要有、锦上添花”三档打标签。
避坑指南:我曾经遇到一个销售总监,访谈时一直强调要“实时销售数据”。结果深挖后发现,他所谓的“实时”其实是每天上午10点看前一天的汇总数据。嗯,这里要注意——业务方说的“实时”可能只是“别让我等三天”。一定要把时间粒度、刷新频率、数据延迟这些细节问清楚。
2.2 核心指标梳理:从KPI到原子指标
访谈结束后,你会拿到一堆业务术语。比如“客户活跃度”、“订单转化率”、“库存周转天数”。这些听起来很明确,但到了技术层面,每个指标的定义都可能打架。
我习惯用“指标分层法”来梳理:
| 层级 | 定义 | 示例 |
|---|---|---|
| 业务KPI | 业务方直接关注的宏观指标 | 月度GMV、客户留存率 |
| 派生指标 | 由多个原子指标计算得出 | 客单价 = 销售额 / 订单数 |
| 原子指标 | 不可再拆分的原始度量 | 订单金额、订单数量、客户ID |
| 维度 | 指标分析的视角 | 时间、区域、产品品类 |
举个例子。业务方说“我要看各区域的客户活跃度”。你拆解下来:
- 原子指标:登录次数、访问时长、下单次数
- 派生指标:活跃度 = (近30天登录次数 ≥ 5) 且 (近30天下单次数 ≥ 1)
- 维度:区域、客户等级、时间
这样一拆,数据团队就知道该从哪些表里取数、怎么计算、怎么聚合。说白了,指标梳理的本质是“消除歧义”——让业务方和技术方对同一个词的理解完全一致。
注意:指标定义一定要书面化,并且让业务负责人签字确认。我吃过一次亏——业务方口头说“成交额就是付款金额”,结果上线后他们又说“不对,成交额应该包含退款订单”。这种事后扯皮,一次就够你受的。
2.3 数据源盘点:摸清家底再开工
指标梳理清楚了,接下来要回答一个问题:这些数据从哪来?
数据源盘点,说白了就是把你企业里所有可能用到的数据系统摸一遍。我一般按这个清单来排查:
- 核心业务系统:ERP、CRM、OMS、WMS——这些是主力数据源
- 外围系统:客服系统、营销平台、第三方支付——这些往往有数据但容易被忽略
- 手工数据:Excel报表、邮件附件、纸质单据——这些是数据治理的“重灾区”
- 外部数据:行业报告、公开API、爬虫数据——这些需要评估合规性
每个数据源,你需要记录以下信息:
| 字段 | 说明 |
|---|---|
| 系统名称 | 如:SAP ECC 6.0 |
| 数据负责人 | 出了问题找谁 |
| 数据量级 | 日增量、总存量 |
| 数据质量 | 完整性、准确性、时效性评估 |
| 接入方式 | 数据库直连、API、文件导入、消息队列 |
| 更新频率 | T+1、实时、每小时 |
个人经验:数据源盘点最容易踩的坑是“我以为这个系统有数据”。我曾经对接一个营销系统,对方说有“完整的用户行为数据”,结果拉出来一看,只有注册时间,连浏览记录都没有。所以,盘点时一定要拿到样例数据,哪怕只取100条,也比听对方口头描述靠谱得多。
2.4 项目范围与里程碑规划:学会说“不”
需求调研到最后,你手里会有一张长长的愿望清单。但数据集市建设最忌讳的就是“大而全”——什么都想做,结果什么都做不好。
我一般用“MoSCoW法则”来划定范围:
- Must have(必须有):核心KPI、高频使用场景、支撑业务决策的刚性需求
- Should have(应该有):重要但不紧急、可以放在第二期
- Could have(可以有):锦上添花、资源充裕时再做
- Won't have(这次不做):明确拒绝,并说明原因
里程碑规划上,我习惯按“迭代交付”的思路来切分:
| 里程碑 | 交付物 | 周期(参考) |
|---|---|---|
| M1:数据接入 | 核心数据源接入完成、数据质量报告 | 2-3周 |
| M2:基础宽表 | 原子指标宽表、维度表就绪 | 3-4周 |
| M3:指标计算 | 派生指标计算逻辑验证通过 | 2周 |
| M4:报表上线 | 核心看板交付、UAT验收 | 2-3周 |
血的教训:我曾经在一个项目里答应了业务方“所有历史数据都要清洗干净再接入”。结果历史数据有7年,光清洗就花了两个月,业务方等不及,项目差点被砍。后来我学乖了——第一期只接近一年的数据,历史数据作为二期优化项。先跑起来,再优化,永远比憋大招靠谱。
2.5 本章知识体系总览
下面这张图,把需求调研与范围界定的核心流程串起来了。你可以把它当作项目启动时的检查清单。
你想想看,如果这四步都走扎实了,数据集市建设至少成功了一半。剩下的就是按部就班地开发、测试、上线。但要是这一步图省事,后面等着你的就是无穷无尽的返工和扯皮。
嗯,需求调研没有捷径。你花在访谈和梳理上的每一分钟,都会在后续的开发周期里加倍还给你。